DiffGate: guida del modello insegnante modulata in base alla difficoltà per la distillazione on-policy

Abstract degli autori

La distillazione on-policy (OPD) è diventata un paradigma ampiamente utilizzato nella fase di post-addestramento dei modelli linguistici di grandi dimensioni: riduce la discrepanza tra addestramento e test della distillazione convenzionale supervisionando il modello studente sulle traiettorie che genera. Tuttavia, gli obiettivi OPD esistenti restano in gran parte circoscritti ai singoli token e non tengono conto dell’esito: ottimizzano la concordanza tra insegnante e studente a ogni prefisso, benché la qualità del ragionamento si determini a livello dell’intera traiettoria. L’apprendimento per rinforzo con ricompense verificabili (RLVR), in particolare Group Relative Policy Optimization (GRPO), offre una supervisione complementare basata sull’esito, ma risente di ricompense sporadiche e di un’attribuzione grossolana del merito. Mostriamo che OPD e RLVR hanno punti ciechi complementari: i segnali dell’insegnante forniscono indicazioni locali dense, ma sono poco allineati con la correttezza dei rollout; le ricompense relative al gruppo, invece, colgono il successo nel compito, ma attribuiscono il merito ai singoli token in modo grossolano e si annullano nei gruppi in cui tutte le traiettorie falliscono. Presentiamo DiffGate, un obiettivo condizionato dall’esito che combina GRPO con indicazioni selettive e limitate dell’insegnante. La supervisione dell’insegnante si applica soltanto alle traiettorie fallite, viene modulata in base alla difficoltà del gruppo ed è limitata in modo graduale per evitare che discrepanze estreme tra insegnante e studente dominino l’ottimizzazione. Il verificatore determina quindi \emph{quali traiettorie} ricevono le indicazioni dell’insegnante, mentre l’insegnante fornisce, all’interno di quelle traiettorie, indicazioni dense per l’aggiornamento a livello di token. Con Qwen3-0.6B e Qwen3-1.7B come modelli studenti, DiffGate migliora l’avg@8 nel codice rispetto a GRPO, a parità di condizioni, rispettivamente di $+1.7$ e $+1.8$ punti, e il pass@8 di $+1.6$ e $+5.7$ punti. In matematica, l’avg@8 resta entro $0.5$ punti da GRPO, mentre il pass@8 migliora di $+1.1$ e $+3.9$ punti. Nel complesso, DiffGate migliora il pass@8 in tutte e quattro le combinazioni di modello e dominio, mostrando una maggiore copertura delle soluzioni secondo il nostro protocollo di valutazione.