Il ciclo di vita di un’attivazione massiva: nascita stocastica, crescita guidata dal decadimento dei pesi e consolidamento competitivo

Abstract degli autori

Le attivazioni massive, coordinate del flusso residuo con ampiezze molto maggiori di quelle delle attivazioni tipiche, sono associate ai pozzi di attenzione nei transformer, ma non è ancora del tutto chiaro come la loro scala venga regolata durante l’addestramento. Combinando analisi delle traiettorie di addestramento e interventi controllati, ne ricostruiamo la comparsa, la crescita e il consolidamento. I canali che ospitano i pozzi variano al variare dei semi casuali, ma si stabilizzano presto nel corso di ciascuna esecuzione. Con il proseguire dell’addestramento, i canali circostanti si indeboliscono e il pozzo si concentra su pochi canali ridondanti. Nelle prove di ablazione, l’attenuazione del gradiente segue l’ampiezza quadratica media collettiva del token del pozzo, anziché quella di un singolo canale: la scala collettiva è quindi centrale per comprenderne gli effetti. Il nostro risultato principale è che il decadimento dei pesi controlla causalmente l’inversione di tendenza della scala globale delle attivazioni. Nelle prosecuzioni controllate dell’addestramento, eliminare il decadimento in prossimità del picco permette a questa scala di continuare a crescere, mentre mantenerlo ne provoca il calo anche con un tasso di apprendimento costante. Sviluppiamo un modello di equilibrio per la crescita e il picco dell’ampiezza delle attivazioni massive, nel quale la crescita precondizionata da AdamW si contrappone al decadimento dei pesi. Variando il coefficiente di decadimento $λ$, il momento del picco si sposta in modo approssimativamente log-lineare e le ampiezze al picco variano approssimativamente secondo $λ^{-1/2}$, in linea con questo equilibrio. Le misurazioni dell’ottimizzatore mostrano inoltre che il precondizionamento sostiene il gruppo dei canali di grande ampiezza contro il decadimento anche quando le forze di mantenimento non precondizionate sono troppo deboli per farlo. Nel complesso, questi risultati collegano il ciclo di vita osservato alle dinamiche di addestramento che regolano la scala e individuano nel decadimento dei pesi una leva per intervenire sull’ampiezza delle attivazioni durante l’addestramento.