Ogni token ha bisogno del proprio insegnante: auto-distillazione on-policy adattiva con più insegnanti

Abstract degli autori

L’autodistillazione on-policy (OPSD) si è dimostrata efficace per il post-training dei modelli linguistici di grandi dimensioni, costruendo un modello insegnante condizionato da riferimenti privilegiati. Tuttavia, gli approcci esistenti mantengono fisso il modello insegnante, o per tutto l’addestramento esponendolo sistematicamente al riferimento completo, oppure all’interno di ogni risposta variando in modo adattivo l’esposizione parziale al riferimento solo tra una risposta e l’altra. In questo articolo sosteniamo che nessuno dei due approcci sia sufficiente. Al contrario, ogni token ha bisogno di un proprio modello insegnante, poiché la preferenza per il modello insegnante può variare da un token all’altro all’interno della stessa risposta. Attraverso uno studio pilota di intervento sul modello insegnante, verifichiamo che la preferenza per il modello insegnante differisce tra i token e mostriamo che per ciascun token è possibile individuare il modello insegnante preferito tramite votazione a maggioranza e selezione basata sulla KL. Sulla base di questi risultati, proponiamo Multi-teacher Adaptive On-policy Self-Distillation (MTA-OPSD), il primo metodo OPSD adattivo a livello di token. Il nostro metodo crea un pool di modelli insegnanti candidati e consente a ogni token di selezionare in modo adattivo il modello insegnante preferito durante l’addestramento. Gli esperimenti con i modelli Qwen3 su compiti di ragionamento matematico mostrano che MTA-OPSD supera costantemente gli approcci OPSD esistenti, con un guadagno medio fino a $+5.9$ rispetto al modello di base, evidenziando l’importanza di adattare la supervisione del modello insegnante a livello di token. Il codice è disponibile all’indirizzo https://github.com/xingzhejun/MTA-OPSD.