La distillazione on-policy distilla davvero? Da un modello docente rumoroso all’auto-miglioramento

Abstract degli autori

La distillazione on-policy (OPD) offre una supervisione densa a livello di token come alternativa agli advantage sparsi a livello di risultato dell’apprendimento per rinforzo con ricompense verificabili (RLVR). Tuttavia, il modello docente valuta traiettorie generate dallo studente che, per il docente, sono intrinsecamente off-policy. Restano quindi poco chiare l’affidabilità della sua supervisione e, di conseguenza, l’origine dei miglioramenti dello studente. Analizziamo quantitativamente la supervisione del docente durante l’addestramento OPD e rileviamo una notevole quantità di rumore, la cui prevalenza aumenta con le dimensioni del docente. Sorprendentemente, la policy dello studente è insensibile a questo rumore e converge verso prestazioni comparabili sia quando la supervisione rumorosa viene mantenuta sia quando viene rimossa. OPD distilla davvero? Analizzando che cosa determina i suoi miglioramenti, scopriamo che l’apprendimento si concentra sui token a bassa log-probabilità e che un unico advantage negativo fisso consente di eguagliare le prestazioni ottenute con quelli forniti dal docente. Questo suggerisce che OPD funzioni in larga misura sopprimendo i token a bassa log-probabilità, senza bisogno di un docente. Questi risultati motivano On-Policy Self-Adaptation (OPSA), un metodo privo di supervisione che usa advantage negativi adattati all’entropia. Il metodo assegna segnali di apprendimento più forti alle posizioni ad alta entropia, sopprime i token di coda e redistribuisce uniformemente la massa di probabilità tra i token di testa. Rispetto al modello di base \texttt{Qwen3-1.7B}, OPSA migliora Avg@32 di 35,41 punti su AIME24, pari a un aumento relativo del 263\%, e più che raddoppia Pass@32 in tutti e tre i benchmark. Supera inoltre OPD di 16,77 punti in Avg@32 su AIME24. Numerosi esperimenti e analisi condotti su diverse famiglie di modelli e diversi compiti ne dimostrano ulteriormente l’efficacia e la generalizzabilità.