La geometria dell’informazione dei grandi modelli linguistici è condivisa, appresa e controllabile

Abstract degli autori

I grandi modelli linguistici apprendono comportamenti simili, ma non è ancora chiaro quale struttura condividano né come modificare un comportamento senza influire sugli altri. La geometria di Fisher-Rao delle probabilità del token successivo collega queste questioni: il comportamento determina questa geometria, a meno di simmetrie che preservano l’output, mentre la geometria delle attivazioni dipende dalle coordinate. Nei modelli transformer, a spazio di stati e ricorrenti, le geometrie degli output concordano più di quelle delle attivazioni, e la geometria condivisa favorisce il trasferimento tra categorie semantiche. La concordanza con le scelte lessicali umane aumenta con l’accuratezza predittiva, la scala e l’addestramento, e migliora ulteriormente dopo una calibrazione basata solo sui modelli. Le probabilità dei token e la geometria del read-out predicono congiuntamente lo spettro e la sua dimensione effettiva. Esperimenti controllati di assegnazione linguistica mostrano che la geometria segue la legge linguistica in diverse architetture. Le statistiche dei corpora di pretraining predicono l’acquisizione di fatti esclusi dal campione senza ricalibrazione, mentre esperimenti randomizzati mostrano che prove più approfondite ritardano sensibilmente l’acquisizione in tutte le architetture e con tutte le modalità di costruzione delle prove testate. Infine, la geometria prescrive interventi locali che minimizzano la perturbazione, ne predice il costo relativo e consente un controllo riutilizzabile: gli aggiornamenti appresi su prompt donatori si trasferiscono a prompt non visti, preservando meglio il comportamento sui prompt di riferimento rispetto al controllo euclideo. La stessa correzione geometrica migliora l’orientamento, la modifica, l’attribuzione, l’apprendimento di dizionari e il fine-tuning.