La distillazione della conoscenza durante l’addestramento intermedio favorisce il ragionamento rispetto al richiamo di fatti

Abstract degli autori

La distillazione della conoscenza (KD) basata sui logit viene usata per addestrare modelli linguistici (LM) più piccoli sotto la supervisione di modelli insegnanti più capaci, ma non è chiaro se i suoi benefici siano costanti nelle diverse fasi dell’addestramento. Attraverso esperimenti controllati, scopriamo che la distillazione basata sulla divergenza di Kullback-Leibler (KL) diretta — la formulazione standard della KD — con modelli insegnanti sottoposti a post-training si comporta in modo fondamentalmente diverso durante l’addestramento intermedio, una fase di apprendimento autosupervisionato su corpora selezionati. Sorprendentemente, rispetto alla predizione standard del token successivo (NTP), durante il pre-training la distillazione KL diretta migliora sia il ragionamento sia il richiamo di fatti; durante l’addestramento intermedio, invece, rallenta l’acquisizione della capacità di richiamare fatti, nonostante i continui progressi nel ragionamento. Riconduciamo questa dipendenza dalla fase a un’asimmetria nel grado di sicurezza dei modelli insegnanti tra diversi ambiti dei dati e all’evoluzione delle conoscenze del modello studente: i modelli insegnanti sono più sicuri sui dati procedurali che su quelli ad alta intensità di conoscenze, mentre i modelli studenti acquisiscono conoscenze fattuali a bassa entropia nelle prime fasi dell’addestramento. Per attenuare questo squilibrio, proponiamo Switch Distillation, un semplice obiettivo per l’addestramento intermedio che applica la distillazione ai token per i quali il modello insegnante è sicuro, usando l’entropia delle sue predizioni come semplice segnale per decidere quando applicarla, e negli altri casi ricorre all’entropia incrociata. Switch Distillation supera sistematicamente gli obiettivi di distillazione esistenti con modelli insegnanti di diverse dimensioni. Rispetto alla NTP standard, raggiunge prestazioni nel ragionamento pari a 1,61-1,71 volte e prestazioni nelle conoscenze e nel senso comune pari a 1,13-1,19 volte, preservando il 96,7-96,8% della capacità di richiamare fatti. È importante notare che questi benefici persistono dopo il post-training: Switch Distillation colma il divario nel richiamo di fatti, mantenendo incrementi pari rispettivamente a 1,25-1,32 volte nel ragionamento e a 1,13-1,20 volte nelle conoscenze e nel senso comune.