Sui limiti di generalizzazione della distillazione on-policy per il consolidamento post-RL

Abstract degli autori

La distillazione on-policy multi-teacher (MOPD) estende la distillazione on-policy (OPD) per consolidare le capacità di più modelli insegnanti. Sebbene lavori precedenti riportino prestazioni di distillazione quasi perfette in distribuzione (IND), osserviamo che ciò può nascondere un consolidamento incompleto delle capacità al di fuori della distribuzione supervisionata. Uno studio preliminare sul ragionamento sintetico mostra che l’OPD non trasferisce pienamente le capacità di generalizzazione dei modelli insegnanti. Estendiamo quindi l’indagine a compiti del mondo reale, valutando la generalizzazione estrapolativa e composizionale in ambiti quali il ragionamento matematico, la programmazione, gli agenti e le capacità di gestire contesti lunghi, utilizzando modelli Qwen3. Negli scenari estrapolativi, OPD e MOPD raggiungono il 96,04-102,73% dei punteggi IND dei rispettivi modelli insegnanti. I loro punteggi fuori distribuzione (OOD), tuttavia, restano inferiori del 2,45-16,25% a quelli del modello di base. In tre scenari composizionali, MOPD migliora le prestazioni IND rispetto al modello di base, ma le sue prestazioni nei compiti composti, considerati OOD, restano inferiori del 18,19-24,34% a quelle dei migliori modelli insegnanti. Per comprendere queste differenze, esaminiamo le capacità dei modelli insegnanti e la copertura dei dati come due potenziali colli di bottiglia. Alleviare congiuntamente questi colli di bottiglia elimina l’oblio OOD nei nostri esperimenti e suggerisce la possibilità di generalizzare oltre il modello insegnante. In media, anche (M)OPD riduce l’oblio OOD rispetto ai relativi metodi di riferimento basati sull’apprendimento per rinforzo (RL). L’analisi della geometria degli aggiornamenti associati rivela aggiornamenti mediamente più piccoli e più concentrati spettralmente rispetto a quelli dei metodi di riferimento basati su RL, nonché una struttura condivisa degli aggiornamenti più marcata con MOPD. Sulla base di questi risultati, proponiamo un patching basato sulla geometria e un replay che preserva il modello di base, per migliorare le prestazioni OOD preservando in larga misura quelle IND. I nostri risultati individuano un punto cieco nel consolidamento delle capacità tramite (M)OPD e sottolineano la necessità di algoritmi che supportino esplicitamente la ritenzione e la generalizzazione OOD.