Disaccoppiare esplorazione e ottimizzazione nell’RLVR

Abstract degli autori

I moderni modelli linguistici vengono sottoposti ad apprendimento per rinforzo con ricompense verificabili (RLVR) a partire da checkpoint già addestrati. Una delle principali promesse dell’RLVR è la scoperta di nuove strategie di ragionamento. In linea di principio, un modello può generare idee nuove, assenti dai dati con cui è stato addestrato in precedenza. In pratica, però, l’aggiunta di forti incentivi alla novità nell’RLVR ha ottenuto risultati limitati e può peggiorare la qualità del modello. Poiché le ricompense verificabili forniscono un segnale di supervisione solo per una parte ristretta delle conoscenze e dei comportamenti del modello, è difficile recuperare da questi peggioramenti. Proponiamo invece di disaccoppiare esplorazione e ottimizzazione in un approccio che chiamiamo Exploration-Distillation (ExpDis). Addestriamo una o più policy di esplorazione con un bonus per la novità nella ricompensa, filtriamo le loro traiettorie in base a correttezza e qualità e le distilliamo in una policy studente separata. La policy studente viene poi addestrata senza un bonus per la novità. Ripetiamo questa procedura per diversi cicli, alternando esplorazione e ottimizzazione. Questo disaccoppiamento ci permette di ampliare notevolmente l’esplorazione senza peggiorare la policy studente. Su sette benchmark di ragionamento matematico e due famiglie di modelli, ExpDis supera DAPO a parità di tempo effettivo di esecuzione. Osserviamo inoltre un migliore scaling del pass@$k$, segno che ExpDis produce modelli capaci di generare soluzioni corrette più diversificate.