Waypoint-OPD: trasferire i cambiamenti delle policy indotti dall’apprendimento per rinforzo mediante distillazione on-policy con gating

Abstract degli autori

La distillazione dei cambiamenti della policy usa come segnale di supervisione sulle traiettorie generate dal modello studente la differenza tra le probabilità logaritmiche del modello insegnante prima e dopo l’apprendimento per rinforzo (RL). Tuttavia, il cambiamento della policy misurato tra questi due estremi non rivela se le preferenze locali per le azioni si siano evolute in modo coerente durante l’addestramento del modello insegnante. Lo stesso cambiamento tra gli estremi può derivare da cambiamenti nelle fasi iniziale e finale che si rafforzano o si annullano parzialmente a vicenda. Esaminiamo se la concordanza tra i cambiamenti della policy del modello insegnante nelle fasi iniziale e finale possa guidare un trasferimento selettivo. Introduciamo Waypoint-guided On-Policy Distillation (Waypoint-OPD), che usa un checkpoint intermedio del modello insegnante, proveniente dalla stessa sessione di RL, per confrontare i cambiamenti iniziali e finali nelle preferenze relative tra le azioni in corrispondenza dei prefissi visitati dal modello studente. Moduliamo il cambiamento tra gli estremi in base alla concordanza direzionale tra i cambiamenti iniziali e finali, sopprimendolo quando vanno in direzioni opposte. Rispetto al trasferimento basato solo sugli estremi, il nostro metodo richiede una sola passata aggiuntiva di calcolo dei punteggi con il modello insegnante congelato. Usando modelli insegnanti Qwen3-4B addestrati con RL, valutiamo il nostro metodo nel ragionamento matematico e sul codice con Qwen3-8B, Qwen3-14B e Qwen3-30B-A3B come modelli studenti. In tutte e sei le combinazioni di dominio e modello studente, Waypoint-OPD ottiene il punteggio medio nel dominio più alto tra i metodi di distillazione confrontati. Esperimenti di ablazione con il modello studente Qwen3-8B mostrano che rimuovere o rimescolare i meccanismi di gating riduce le prestazioni nel ragionamento matematico. Questi risultati sostengono l’uso della concordanza direzionale tra i cambiamenti iniziali e finali della policy del modello insegnante per ponderare il cambiamento tra gli estremi durante l’addestramento del modello studente.