Ripensare il disallineamento tra addestramento e inferenza nell’apprendimento per rinforzo dei LLM: dove nasce e come correggerlo

Abstract degli autori

Studiamo il disallineamento tra addestramento e inferenza nell’apprendimento per rinforzo con ricompense verificabili (RLVR) per i grandi modelli linguistici: i rollout vengono campionati da un motore di inferenza, mentre i gradienti sono calcolati da un motore di addestramento, e i due motori assegnano probabilità diverse agli stessi token. Per tenere conto di questa discrepanza negli aggiornamenti della policy, introduciamo il campionamento per importanza calibrato (CIS). CIS si fonda su una caratterizzazione dello spostamento dei logit, corroborata empiricamente, che esprime il disallineamento come uno spostamento additivo $\varepsilon_t$ nel logaritmo del rapporto tra le probabilità. Lo spostamento è determinato dalla perturbazione di ciascun logit prima della softmax, la cui distribuzione è approssimativamente invariante rispetto al grado di confidenza del token. Questa caratterizzazione suggerisce un troncamento che tiene conto della confidenza: gli spostamenti positivi elevati vengono troncati a un’unica soglia costante, che corrisponde a un limite massimo del rapporto di importanza sempre più restrittivo al crescere della confidenza del token. Sul piano teorico, mostriamo che CIS sostituisce il secondo momento non limitato che determina l’errore del campionamento per importanza esatto con un termine limitato da una costante, al prezzo di un bias controllato dall’eccedenza troncata. Nella valutazione su tre modelli mixture-of-experts e cinque benchmark di ragionamento matematico, CIS ottiene, per tutti e tre i modelli, la media più alta sui cinque benchmark tra i metodi di riferimento valutati. Le analisi diagnostiche mostrano che CIS introduce un bias da troncamento minore sui token a bassa confidenza rispetto al campionamento per importanza troncato, mentre il clipping verso l’alto dei pesi di importanza piccoli riduce l’accuratezza sui dati tenuti da parte.