ProbePO: sonde sparse e credito redistribuito per l’apprendimento per rinforzo dei LLM senza critico

Abstract degli autori

L’apprendimento per rinforzo basato su ricompense verificabili assegna un’unica ricompensa finale a un’intera traiettoria di ragionamento, rendendo difficile capire quanto ogni singolo passaggio abbia contribuito al risultato. GRPO attribuisce a ogni token della risposta un vantaggio normalizzato per gruppo, mentre gli approcci più granulari si affidano spesso a rollout ausiliari capillari o a schemi di ramificazione che possono anche modificare i dati usati per aggiornare la policy. Inquadriamo la via di mezzo mancante come un problema di misurazione con un budget limitato: disponendo di un budget limitato per i rollout, quali soluzioni parziali conviene valutare e in che modo le stime del loro valore dovrebbero affinare l’attribuzione del credito? ProbePO seleziona gli stati delle soluzioni parziali mediante un punteggio di incertezza che non usa ricompense e stima le ricompense attese dal verificatore con un budget massimo per le continuazioni. ProbePO redistribuisce, anziché sostituire, il vantaggio a livello di traiettoria di GRPO tra i token, mantenendo invariata la media dei vantaggi a livello di token per ciascuna traiettoria; le continuazioni delle sonde servono soltanto come misurazioni. Su tre modelli delle famiglie DeepSeekMath e Qwen, con un numero di parametri compreso tra 1,5 e 7 miliardi, ProbePO supera costantemente GRPO e ottiene l’accuratezza più alta tra i quattro metodi valutati in 16 dei 18 confronti modello-benchmark. Rispetto a VinePPO, che impiega sonde capillari, su DeepSeekMath-7B ProbePO ottiene un’accuratezza maggiore in tutti e sei i benchmark, con un tempo di addestramento complessivo inferiore del 76%.