Sotto la superficie delle catene di pensiero: un’interpretazione meccanicistica delle operazioni di ragionamento negli LLM

Abstract degli autori

Il ragionamento nei grandi modelli linguistici si sviluppa attraverso diverse operazioni funzionali, come la formulazione del problema, la scomposizione degli obiettivi e la deduzione. Sebbene queste operazioni siano distinte esplicitamente nel testo, si sa poco di come siano organizzate geometricamente negli spazi delle rappresentazioni. Per questo indaghiamo se operazioni di ragionamento distinte presentino strutture geometriche corrispondenti nelle rappresentazioni interne. Riscontriamo che le operazioni sono distinguibili nelle rappresentazioni tenute da parte, con un grado di separabilità massimo negli strati intermedi, e verifichiamo che questa struttura non è spiegata da fattori confondenti lessicali o posizionali. Procedendo attraverso gli strati, l’allineamento dei token alle operazioni si distribuisce sempre più lungo le porzioni di testo, mentre token identici sul piano testuale vengono rappresentati in modo diverso a seconda dell’operazione associata al segmento che li circonda. Interventi che mascherano l’attenzione mostrano inoltre che le rappresentazioni allineate alle operazioni all’inizio di un segmento dipendono dal contesto di ragionamento precedente. Il nostro lavoro dimostra quindi che i modelli linguistici mantengono una corrispondenza, sul piano delle rappresentazioni, tra le espressioni linguistiche del ragionamento e le loro strutture geometriche interne. Il codice e i materiali del progetto sono disponibili all’indirizzo https://github.com/naver-ai/beneath-cot.