Auto-miglioramento con ricompense ausiliarie: apprendere da tracce verificate e valutare il trasferimento

Abstract degli autori

Le ricompense a livello di risposta non permettono di distinguere le tracce di ragionamento che portano a risultati altrettanto corretti. Studiamo se le preferenze ausiliarie sulle traiettorie migliorino l’auto-miglioramento dei modelli linguistici di piccole dimensioni e il trasferimento in condizioni di supervisione limitata. Confrontiamo metriche basate sulla confidenza (SC) e sull’entropia (UID-Conj.), che combina la variazione globale dell’entropia e la regolarità locale, tramite l’integrazione online di ricompense e l’addestramento offline su risposte corrette. Negli esperimenti online adattiamo Qwen3-1.7B su 30 problemi AIME senza risposte di riferimento; negli esperimenti offline utilizziamo problemi AIME degli anni precedenti. UID-Conj. migliora di 2,08 punti percentuali la media macro online sui benchmark di adattamento e sui tre benchmark di trasferimento rispetto a TTRL non modificato. Le prove più solide provengono dal fine-tuning supervisionato ponderato (SFT) offline: UID-Conj. supera di 1,93 punti la ponderazione uniforme sullo stesso insieme di risposte, con un IC al 95\% ottenuto tramite bootstrap appaiato sui prompt pari a [0,44, 3,44]. I benefici dipendono dal compito: SC premia la qualità delle tracce valutata e il rispetto delle istruzioni, mentre le ricompense basate su UID-Conj. producono risultati di addestramento migliori in diversi contesti. Rileviamo che le preferenze ausiliarie possono far emergere il valore formativo di tracce ugualmente corrette, non rilevabile al momento dell’inferenza, e motivarne la valutazione in base ai miglioramenti ottenuti a valle.