Quantificare la stabilità del ragionamento in più passaggi attraverso l’amplificazione degli errori

Abstract degli autori

Esaminiamo la stabilità dei processi di ragionamento in più passaggi, ampiamente utilizzati nei modelli linguistici, anche nel ragionamento chain-of-thought e in quello algoritmico. Sebbene sequenze di ragionamento più lunghe possano migliorare la capacità di generazione di un modello in fase di test, gli errori dovuti ai passaggi intermedi possono accumularsi nella generazione autoregressiva e quindi crescere notevolmente alla fine del processo. In questo articolo ci chiediamo: quali sono i fattori principali che determinano la stabilità del ragionamento in più passaggi? Innanzitutto, ricaviamo un limite superiore per l’errore di inferenza, determinato dal prodotto delle norme spettrali delle jacobiane calcolate rispetto allo spazio degli input nei diversi passaggi di generazione. Questo prodotto può essere considerato un fattore di amplificazione dell’errore, che potrebbe crescere esponenzialmente con il numero di passaggi di ragionamento e costituisce una misura quantitativa della stabilità del ragionamento. In secondo luogo, analizziamo questa misura in modelli transformer addestrati a prevedere funzioni semplici, come quelle lineari e quadratiche. Dimostriamo teoricamente che il modello transformer converge verso una soluzione in cui la misura di stabilità diminuisce, producendo così una perdita in fase di inferenza prossima a zero anche su sequenze di passaggi (arbitrariamente) lunghe. Infine, l’analisi della stabilità suggerisce diversi interventi algoritmici per controllarla: (i) la compressione della lunghezza della chain-of-thought, che riduce la sensibilità di ciascun passaggio, e (ii) l’addestramento consapevole della quantizzazione, che regolarizza le norme delle jacobiane rispetto agli input. Validiamo gli algoritmi proposti mediante il fine-tuning di modelli linguistici su compiti di ragionamento algoritmico su grafi e di tracciamento simbolico degli stati. In sette valutazioni, i nostri algoritmi migliorano i risultati dei metodi di riferimento in media del 3,5%, e dell’8,2% per gli input più lunghi. Un’analisi di ablazione conferma che la misura di stabilità si riduce drasticamente di 3-8$\times$, a conferma dell’effetto della regolarizzazione sulle norme spettrali delle jacobiane (rispetto allo spazio degli input).