Apprendimento competitivo nelle architetture ibride

Abstract degli autori

Molti modelli linguistici moderni hanno adottato architetture ibride che combinano ricorrenza a tempo lineare e attenzione softmax. Gli strati ricorrenti moderni offrono un meccanismo di combinazione molto espressivo e, comprimendo le informazioni contestuali in uno stato di dimensione fissa, garantiscono un’elevata capacità di elaborazione; tuttavia, nel recupero delle informazioni contestuali ottengono risultati inferiori all’attenzione softmax. In questo articolo descriviamo un fenomeno di apprendimento competitivo: diversi tipi di mixer competono per apprendere la stessa funzione e, quando uno strato la apprende, sopprime il segnale di apprendimento corrispondente per gli altri strati. Un’analisi del contributo dei singoli strati mostra che, con distribuzioni dei dati tipiche, la ricorrenza moderna apprende le funzioni di recupero più rapidamente dell’attenzione softmax, che nella maggior parte dei casi non riesce così ad apprenderle. Interrompere l’aggiornamento dei pesi negli strati ricorrenti a metà dell’addestramento aiuta l’attenzione ad apprendere il recupero. Sulla base di questi risultati, proponiamo una procedura di addestramento per fasi per il preaddestramento di architetture ibride sul linguaggio naturale. I risultati empirici su modelli fino a 1 miliardo di parametri mostrano che il nostro metodo produce miglioramenti sostanziali nella perdita della modellazione linguistica, nel ragionamento di senso comune e in un’ampia gamma di compiti legati al recupero, con contesti di diverse lunghezze.