Oltre i rollout della policy: esplorazione direzionale nello spazio degli embedding con rumore ancorato per l’RLVR degli LLM

Abstract degli autori

L’apprendimento per rinforzo con ricompense verificabili (RLVR) usa in genere piccoli gruppi di rollout per ciascun prompt. Il campionamento ripetuto dalla stessa policy può produrre traiettorie molto simili, riducendo la variabilità delle ricompense all’interno del gruppo e indebolendo i segnali di vantaggio relativi al gruppo. Le soluzioni esistenti, come una temperatura di campionamento più alta, i bonus di entropia, il clipping asimmetrico e budget di rollout più ampi, ampliano il campionamento o modificano gli aggiornamenti della policy, ma lasciano invariato il condizionamento dei rollout. In questo articolo proponiamo EDEN (Embedding-space Directional Exploration via anchored Noise), che interviene all’origine dei rollout mediante perturbazioni ancorate dell’input. EDEN esplora oltre i rollout generati dalla policy stessa. A parità di budget di rollout, sostituisce una piccola parte dei rollout standard di ciascun gruppo con rollout che la stessa policy genera a partire dal prompt a cui è aggiunta un’unica posizione di embedding perturbata, anziché dal solo prompt. Il rumore gaussiano introduce variabilità, mentre un’ancora condivisa fornisce una direzione di condizionamento comune all’interno di ciascun gruppo di prompt. I rollout perturbati selezionati contribuiscono agli aggiornamenti GRPO con vantaggi ponderati al ribasso; l’architettura del modello, la decodifica discreta e l’inferenza al momento del test restano invariate. Su modelli di diverse dimensioni e benchmark di ragionamento matematico, EDEN supera GRPO e i controlli dell’esplorazione valutati nella stessa pipeline, con i miglioramenti maggiori nella copertura delle soluzioni campionate. Le analisi mostrano che un maggior numero di gruppi di prompt fornisce segnali di apprendimento relativi al gruppo non nulli e che rumore e ancoraggio svolgono ruoli complementari. Intervenire all’origine dei rollout è quindi una leva efficace per l’esplorazione nell’RLVR.