Imparare di più addestrando di meno: contrazione progressiva guidata dall’incertezza per un post-addestramento efficiente del ragionamento

Abstract degli autori

I modelli linguistici di grandi dimensioni hanno compiuto notevoli progressi nel ragionamento complesso. Tuttavia, ampliare il post-addestramento del ragionamento con corpus sempre più grandi può aumentare considerevolmente i costi di addestramento senza produrre miglioramenti proporzionali delle prestazioni. In questo studio ci chiediamo dunque: quanto si può comprimere la supervisione del ragionamento senza comprometterne le capacità? A questo scopo proponiamo un metodo di contrazione progressiva guidata dall’incertezza, che concentra la supervisione e l’ottimizzazione sulle traiettorie di ragionamento più utili all’apprendimento. In particolare, anziché trattare una catena di pensiero (CoT) generata da un modello insegnante come un unico percorso effettivamente seguito, costruiamo una supervisione del ragionamento caratterizzata da profili di incertezza, creando alberi di ragionamento Monte Carlo attorno a stati intermedi del ragionamento per mettere in evidenza l’incertezza a livello di processo. Questa incertezza permette dapprima di contrarre il corpus originale in un insieme compatto informato dal modello insegnante. Una seconda contrazione, che tiene conto del modello studente, instrada poi i dati online durante l’SFT, concentrando l’ottimizzazione in funzione dello stato di apprendimento dello studente, che evolve nel tempo. Insieme, le due fasi contraggono progressivamente sia la supervisione sia l’ottimizzazione, riducendo notevolmente il budget di addestramento dello studente. Esperimenti condotti su diversi benchmark di ragionamento e famiglie di LLM mostrano che il nostro metodo utilizza appena lo 0,22% del budget di ottimizzazione dell’SFT su tutti i dati, con un’esposizione all’addestramento oltre 450 volte inferiore, mantenendo o migliorando le prestazioni di ragionamento. In particolare, il nostro metodo si generalizza bene a famiglie eterogenee di modelli studente, modelli insegnanti black-box e trasferimento da modelli deboli a modelli forti. Questo indica che non è soltanto un modo per accelerare l’addestramento, ma può anche migliorare la capacità di ragionamento.