Consolidare il ragionamento con l’addestramento in fase di test

Abstract degli autori

Una collaborazione efficace tra più agenti richiede di arrivare a soluzioni definitive a partire da ragionamenti distribuiti tra i tentativi dei singoli agenti. Tuttavia, ragionamenti intermedi utili possono restare inutilizzati quando la collaborazione si limita a votare sulle conclusioni raggiunte dai singoli agenti oppure ad aggregare nel contesto raccolte lunghe e rumorose di traiettorie di ragionamento. In questo lavoro proponiamo TTT-Consolidate, un framework che usa le traiettorie di ragionamento di più agenti come dati di adattamento per migliorare il ragionamento successivo di un modello. TTT-Consolidate consolida congiuntamente le traiettorie in rappresentazioni parametriche tramite l’addestramento in fase di test, quindi genera una nuova soluzione condizionandola alle informazioni consolidate. Apprendiamo come consolidare tramite ottimizzazione a due livelli durante l’addestramento: un ciclo interno codifica le traiettorie di ragionamento in un adapter LoRA leggero, mentre un ciclo esterno apprende i metaparametri del ciclo interno, affinché il consolidamento aiuti il modello a elaborare una soluzione finale. Poiché non esiste un corpus su larga scala di traiettorie di ragionamento diversificate per addestrare metodi di aggregazione, realizziamo il corpus OpenParallelThinking, composto da 12.810 problemi matematici abbinati a una combinazione di traiettorie provenienti da sei LLM. Valutato su benchmark impegnativi di matematica e STEM, TTT-Consolidate supera fino a 20 punti percentuali i migliori metodi di aggregazione di riferimento, anche a parità di risorse di calcolo e tempi di esecuzione; il divario aumenta con modelli di dimensioni maggiori. TTT-Consolidate recupera inoltre con maggiore robustezza da traiettorie individuali non riuscite, e questa capacità migliora all’aumentare del numero di traiettorie disponibili, anche se errate. Infine, dimostriamo che TTT-Consolidate beneficia sia di obiettivi del ciclo esterno basati su SFT sia di quelli basati su RL. Renderemo disponibili TTT-Consolidate e OpenParallelThinking per i futuri lavori sull’aggregazione del ragionamento.