Oltre la supervisione instradata per dominio: salvaguardia incrociata tra insegnanti nella distillazione on-policy con più insegnanti

Abstract degli autori

La distillazione on-policy con più insegnanti (MOPD) estende la distillazione on-policy (OPD) instradando i dati di ciascun dominio verso insegnanti specializzati e integrandone le capacità mediante una supervisione fitta a livello di token sulle traiettorie generate dallo studente. Tuttavia, l’instradamento per dominio distingue soltanto le fonti di supervisione dei diversi domini: gli aggiornamenti di tutti i domini continuano ad agire su parametri condivisi. Quando gli insegnanti differiscono notevolmente per stile di risposta e competenza nei rispettivi domini, una supervisione efficace se applicata isolatamente può comunque causare conflitti persistenti tra gradienti e un degrado delle capacità durante l’ottimizzazione congiunta. Per affrontare questa difficoltà, proponiamo Cross-Teacher Guarding for MOPD (Road MOPD), che impiega gli insegnanti non selezionati dall’instradamento come valutatori ausiliari interdominio sulle stesse traiettorie dello studente e coordina la supervisione dei diversi insegnanti attraverso l’attribuzione del credito a livello di token e gli aggiornamenti dei gradienti. Nello specifico, l’attribuzione del credito guidata dal confronto tra insegnanti sfrutta la loro concordanza per rafforzare le correzioni a livello di token sostenute congiuntamente e attenuare i segnali contrastanti; la proiezione preventiva dei gradienti dei diversi insegnanti usa gradienti ausiliari ricavati dalle stesse traiettorie per vincolare gli aggiornamenti potenzialmente in conflitto e ne regola in modo adattivo l’intensità per preservare i segnali di apprendimento del dominio bersaglio. Negli esperimenti, Road MOPD riduce il degrado nel dominio svantaggiato, ottiene miglioramenti superiori a 5 punti percentuali in condizioni di forte conflitto e migliora le prestazioni complessive in contesti con conflitti limitati e con tre domini.