TPPO: Tracking-Value PPO per il ragionamento dei modelli linguistici

Abstract degli autori

La Proximal Policy Optimization (PPO) è ampiamente utilizzata nell’apprendimento per rinforzo con ricompense verificabili per il ragionamento dei modelli linguistici. Sebbene \emph{value evolution along trajectory} descriva l’attribuzione relativa del merito a livello di token, i modelli che stimano il valore spesso non riescono a seguirne l’andamento quando le ricompense finali sono sparse. Per modellare questa evoluzione, analizziamo la relazione tra i valori di prefissi successivi e mostriamo che ammettono una scomposizione bayesiana con aggiornamenti additivi nello spazio dei log-odds. Sfruttiamo questa struttura additiva per costruire Tracking-Value PPO (\method), una parametrizzazione cumulativa del valore che somma gli output scalari di ciascuna posizione per ottenere i logit del valore. Questi output vengono appresi mediante supervisione basata sull’esito finale applicata ai valori ricostruiti. \method migliora rispetto a PPO i punteggi aggregati nel ragionamento matematico di 7,0 e 8,4 punti, rispettivamente su Qwen3-4B-Base e Qwen3-8B-Base, migliorando al contempo la generalizzazione fuori distribuzione. I miglioramenti si estendono a Qwen3-4B, Qwen2.5-Math-1.5B e Qwen3.5-9B, nonché ai compiti di conto alla rovescia e di programmazione scientifica. Ulteriori analisi mostrano un tracciamento più accurato dell’evoluzione del valore e stime del vantaggio più affidabili. Il nostro codice è disponibile pubblicamente all’indirizzo https://github.com/LINs-lab/TPPO.