Imparare a leggere l’output: le dinamiche dell’unembedding nel preaddestramento dei modelli linguistici

Abstract degli autori

Quando acquisisce una capacità un modello linguistico? Gli studi sullo sviluppo dei modelli rispondono di solito osservando quando iniziano a produrre il token corretto. Ma quella previsione passa attraverso la matrice di unembedding, o readout, che durante il preaddestramento è ancora in fase di apprendimento. Mostriamo che gli stati nascosti di un modello possono codificare informazioni relative a un compito prima che il suo readout le esprima. Le tempistiche ricavate dagli output confondono quindi ciò che il modello codifica con ciò che il readout esprime. Per seguire direttamente il readout, introduciamo il crosscoding delle traiettorie dei parametri, che adatta un unico dizionario sparso alla riga del readout di ogni token, a ogni checkpoint. A differenza del crosscoding applicato alle attivazioni, richiede soltanto i pesi dei checkpoint. Lo usiamo per individuare una breve finestra nelle prime fasi, tra lo 0,4% e l’1,1% del preaddestramento di Pythia, in cui il readout si riorganizza e le categorie di parole di WordNet diventano decodificabili dalle sue righe. A quel punto, i probe lineari sugli stati nascosti decodificano già informazioni relative al compito che gli output del modello non mostrano ancora. Per verificare se questi divari dipendano dalla velocità con cui il readout apprende, preaddestriamo da zero piccoli modelli che differiscono solo per il tasso di apprendimento del readout. Riscontriamo che aumentarlo fa sviluppare il readout prima e colma il divario più rapidamente, con scarsi effetti sulla loss finale. Nel complesso, questi risultati indicano che nelle prime fasi dell’addestramento, in cui vengono collocate molte transizioni dello sviluppo, la datazione basata sul comportamento può riflettere il momento in cui il readout impara a esprimere le informazioni relative a un compito, non quello in cui il modello le apprende.