Quando serve la distillazione on-policy? La distillazione su rollout offline dello studente è spesso migliore

Abstract degli autori

La distillazione on-policy (OPD) è sempre più usata per trasferire le capacità di un modello insegnante a un modello studente. In questo lavoro ci poniamo una domanda di ricerca cruciale: il campionamento on-policy è sempre vantaggioso per la distillazione di qualsiasi coppia insegnante-studente? Mostriamo che una semplice alternativa, Semi-OPD, che effettua la distillazione a partire da rollout offline generati dallo studente iniziale, può spesso superare OPD sia per accuratezza sia per efficienza dell’addestramento. Su 17 coppie insegnante-studente, con modelli da 1,5 a 235 miliardi di parametri, Semi-OPD supera OPD in 14 casi, con un aumento dell’accuratezza fino al +13,6% e un’accelerazione dell’addestramento di 11,4 volte. Rileviamo inoltre che la scelta tra OPD e Semi-OPD dipende dall’allineamento tra i modelli insegnante e studente iniziali, quantificato dal rapporto di sovrapposizione dei token in uscita: OPD è vantaggiosa solo quando i due modelli sono fortemente allineati e il rapporto di sovrapposizione è elevato. Un’analisi più approfondita suggerisce che, per essere efficace, la distillazione deve essere on-policy rispetto sia allo studente sia all’insegnante. Per le coppie poco allineate, i rollout dello studente possono diventare sempre più off-policy rispetto all’insegnante al crescere della lunghezza del contesto, indebolendo il segnale di distillazione. Semi-OPD, invece, è spesso più stabile, perché effettua la distillazione su contesti più brevi pur coprendo traiettorie complete ed esponendo lo studente a un maggior numero di token preferiti dall’insegnante. Oltre a proporre Semi-OPD come alternativa efficiente, il nostro lavoro invita la comunità a riconsiderare quando usare OPD e a studiarne varianti più efficaci con coppie insegnante-studente significative.