Auto-distillazione basata sulla politica corrente con evoluzione dell’insegnante

Abstract degli autori

L’autodistillazione on-policy (OPSD), che allinea la distribuzione dei token di un modello studente a quella del proprio modello insegnante, sollecitato da un contesto privilegiato, si è affermata come una promettente direzione per mitigare la scarsità delle ricompense nei paradigmi di post-training a livello di sequenza. Tuttavia, spesso l’OPSD non riesce a ottenere miglioramenti continui delle prestazioni durante l’addestramento. In questo articolo mostriamo che alla base del fenomeno vi è la limitata capacità del modello di insegnare a sé stesso, che lo porta a fornire indicazioni inaffidabili su alcuni campioni. Per affrontare il problema, proponiamo la Teacher-Evolution Self-Distillation (TESD), che consente al modello insegnante di generare rollout e ricevere feedback dall’ambiente sulla base della correttezza del compito e dell’indipendenza dal contesto. In primo luogo, usando queste ricompense come obiettivi di addestramento, ottimizziamo il modello insegnante per migliorarne continuamente la capacità di insegnare a sé stesso durante la distillazione. In secondo luogo, stimando l’affidabilità delle indicazioni del modello insegnante sulla base di queste ricompense, applichiamo un’ottimizzazione adattiva incentrata sullo studente, riducendo il peso dei campioni per i quali le indicazioni sono inaffidabili. Esperimenti approfonditi su più dataset e scale di modelli mostrano che la TESD supera costantemente metodi rappresentativi a livello di token e di sequenza, sottolineando la necessità di migliorare la qualità della supervisione nell’OPSD.