Deep learning incentrato sul recupero in reti neurali non parametriche in crescita

Abstract degli autori

Studiamo un livello di uso generale per il deep learning che, anziché comprimere dati di addestramento di dimensioni arbitrarie in matrici di pesi di dimensioni fisse, memorizza durante l’addestramento una nuova coppia di rappresentazioni chiave-valore per ogni punto dei dati e, al momento dell’inferenza, recupera e ricombina queste rappresentazioni mediante un meccanismo di attenzione. Ne risulta una rete neurale (NN) che cresce. Irie et al. (arXiv:2202.05798) hanno proposto questa prospettiva a partire dalla classica dualità che permette di esprimere qualsiasi livello lineare di una NN profonda addestrata mediante discesa del gradiente come attenzione lineare (LA) sui punti dei dati di addestramento. Tuttavia, sostituire la LA con funzioni di attenzione più potenti, come suggeriscono, si rivela tutt’altro che banale: mostriamo che applicare direttamente ai kernel avanzati le regole di apprendimento del caso LA non porta a un’ottimizzazione fondata su principi rigorosi. Colmiamo questa lacuna sviluppando regole di apprendimento basate sul gradiente funzionale per livelli di attenzione basati su kernel, tra cui kernel basati su funzioni a base radiale (RBF) e kernel simili a softmax. Stabiliamo così il paradigma dell’«apprendimento profondo incentrato sul recupero» (RCDL), fondato su principi rigorosi. Sul piano empirico, mostriamo le prestazioni promettenti e l’efficienza nell’apprendimento di RCDL nella classificazione delle immagini e in compiti sintetici di apprendimento teacher-student. Mostriamo inoltre che sostituire la LA nella forma duale delle NN con varianti avanzate di LA, ossia MesaNet/DeltaNet, porta a un collegamento formale con ottimizzatori proposti di recente per le NN convenzionali di dimensioni fisse, offrendo una nuova prospettiva sull’ottimizzazione nel deep learning.