VASPO: auto-distillazione con stima privilegiata del valore

Abstract degli autori

L’auto-distillazione on-policy fornisce ai modelli di ragionamento una supervisione capillare tramite un auto-insegnante che dispone di informazioni privilegiate. Questa supervisione, tuttavia, riflette preferenze locali tra token, anziché il ritorno atteso da una continuazione non guidata dello studente. Alcuni metodi recenti combinano questo segnale con GRPO: usano GRPO per determinare la direzione degli aggiornamenti e l’insegnante per modulare l’intensità del segnale. Dimostriamo però che l’integrazione con PPO è più efficace. In particolare, individuiamo dinamiche complementari legate alla posizione: le informazioni privilegiate migliorano l’accuratezza delle previsioni di valore del critico verso la fine della risposta, mentre la guida dell’auto-insegnante è forte all’inizio, si indebolisce a metà della generazione e torna a rafforzarsi alla fine. Queste osservazioni motivano Value-Augmented Self-Distillation Policy Optimization (VASPO), in cui un auto-insegnante e un critico valutano le stesse informazioni privilegiate in corrispondenza dei prefissi generati dallo studente. Il critico calcola i vantaggi PPO a livello di token a partire dai ritorni previsti per le continuazioni, mentre l’auto-insegnante modula alcuni vantaggi positivi selezionati mediante rapporti di probabilità limitati. Su sei benchmark di ragionamento matematico, VASPO migliora l’accuratezza media rispetto a PPO di 2,59 e 1,81 punti percentuali, rispettivamente, nelle varianti Qwen3-4B e OLMo3-7B, e ottiene l’accuratezza media più alta tra i metodi valutati su Knights and Knaves. Il nostro codice è disponibile all’indirizzo https://github.com/cii030/VASPO.