Esplorazione sensibile alle correlazioni nel ragionamento con tracce lunghe

Abstract degli autori

I modelli di ragionamento addestrati con Group Relative Policy Optimization (GRPO) producono ormai catene di pensiero lunghe migliaia di token e studi recenti mostrano che questo tipo di addestramento è soggetto al collasso della policy. La regolarizzazione dell’entropia è il rimedio standard, ma agisce spostando massa di probabilità dai pochi token che la concentrano verso la vasta coda di token a bassa probabilità del vocabolario, ed esercita questa spinta una volta per ogni token della traccia di ragionamento. Il bonus entra così in conflitto diretto con la riduzione dell’entropia necessaria alla convergenza e il suo coefficiente diventa difficile da impostare quando le tracce sono lunghe. Per risolvere questa tensione, proponiamo Info-GRPO, un framework basato sulla teoria dell’informazione che favorisce la correlazione tra la policy e un prior latente. Anziché aumentare l’entropia ovunque, Info-GRPO si fonda sull’informazione mutua tra una variabile latente e la traiettoria che essa induce: aggiungere seed latenti ai prompt durante l’addestramento consente al modello di esplorare policy diverse e correlate al prior, mentre l’entropia condizionata al seed viene guidata verso la convergenza. La diversità si estende quindi a intere tracce di ragionamento, anziché dipendere dalla casualità di ogni singolo token, e l’esplorazione non ostacola più la riduzione dell’entropia. Gli esperimenti mostrano che Info-GRPO supera sia GRPO nella versione standard sia GRPO con regolarizzazione dell’entropia in diversi benchmark di ragionamento. Su AIME24, migliora $Avg@8$ rispetto a GRPO del 3,75%, dell’1,66%, del 4,16% e del 4,17% su quattro backbone, e raggiunge la stessa accuratezza con voto di maggioranza usando un numero di campioni $8\times$ inferiore. Il codice e i modelli saranno resi pubblici.