Distillazione on-policy basata solo sull’ordine

Abstract degli autori

La distillazione on-policy (OPD) addestra uno studente sulle proprie generazioni, facendogli riprodurre le probabilità dei token assegnate dall’insegnante. Queste probabilità intrecciano due tipi di informazione: quali token preferisce l’insegnante e quanto è sicuro delle proprie preferenze. Quest’ultimo aspetto riflette la capacità e la calibrazione dell’insegnante, che uno studente più piccolo potrebbe non essere in grado di riprodurre. Poiché la temperatura dell’insegnante modifica questi valori senza modificarne l’ordine, l’OPD è anche sensibile alla scelta della temperatura. Ci chiediamo se sia sufficiente conoscere l’ordine dei token candidati stabilito dall’insegnante e proponiamo la distillazione on-policy basata solo sull’ordine (O$^{3}$PD). A ogni prefisso generato dallo studente, O$^{3}$PD lo addestra a riprodurre l’ordine dei top-$K$ token dell’insegnante, senza adattarsi ai valori delle loro probabilità. L’obiettivo è quindi invariante rispetto alla temperatura dell’insegnante e non richiede di regolarla. In sei coppie insegnante-studente, O$^{3}$PD supera l’OPD nella media dei risultati su HMMT25, AIME24 e AIME25 in ogni coppia, con un vantaggio fino a 2,9 punti e miglioramenti fino a 5,6 punti su AIME25. Altre funzioni di perdita basate sul ranking producono miglioramenti simili, perciò il vantaggio deriva dalla supervisione ordinale in sé. L’analisi mostra che O$^{3}$PD si discosta maggiormente dalle probabilità dell’insegnante rispetto all’OPD, eppure ne riproduce l’ordinamento con maggiore fedeltà e produce uno studente più efficace. È dunque l’ordinamento, non i valori delle probabilità, a veicolare la conoscenza che la distillazione on-policy deve trasferire.