ReSPO: ottimizzazione rimodellata delle policy di sequenza contro la carenza di gradiente nell’apprendimento off-policy

Abstract degli autori

L’apprendimento per rinforzo basato su ricompense verificabili (RLVR) riutilizza spesso i rollout per più aggiornamenti della policy, aumentando la divergenza tra la policy corrente e quella che ha generato i dati. Individuiamo un problema di carenza di gradiente, che dipende dal segno, nell’ottimizzazione della policy con clipping: il clipping sopprime le risposte positive generate troppo poco nella coda dei pesi di importanza bassi, mentre lascia che le risposte negative generate in forte eccesso dominino la coda dei pesi elevati. Per affrontare il problema proponiamo ReSPO (Reshaped Sequence Policy Optimization), che sostituisce il clipping con un kernel regolare a due rami, a livello di sequenza, derivato da un obiettivo variazionale basato sull’$α$-divergenza e da una modulazione esponenziale per il controllo della varianza. Il ramo positivo conserva un peso del gradiente diverso da zero per le risposte positive generate troppo poco, mentre quello negativo sopprime le risposte negative generate in forte eccesso. Mostriamo che ReSPO apprende efficacemente da lunghe traiettorie di ragionamento positive nelle prime fasi dell’addestramento, anche quando la deriva accumulata della policy le relega nella coda dei pesi di importanza bassi. Sui modelli Qwen3 densi e MoE, ReSPO accelera l’ottimizzazione iniziale, migliora i punteggi finali di addestramento e ottiene prestazioni più elevate su benchmark tenuti da parte quando i rollout vengono riutilizzati, convalidando il nostro approccio al controllo delle code dei pesi di importanza nell’apprendimento off-policy.