La distillazione on-policy insegna nuove abilità, ma non nuove conoscenze

Abstract degli autori

La distillazione on-policy (OPD) rafforza le capacità di ragionamento dei modelli linguistici, ma non è ancora chiaro se i modelli studenti acquisiscano nuove conoscenze fattuali o la capacità di combinare conoscenze per ragionare in più passaggi. Distinguiamo queste capacità con un framework sintetico controllato che misura le capacità iniziali dello studente e controlla in modo indipendente i fatti aggiuntivi noti all’insegnante, la sua capacità di combinare conoscenze o entrambe. Su quattro modelli di tre famiglie, l’OPD con KL inversa trasferisce in modo affidabile la capacità di combinare conoscenze anche a strutture di ragionamento mai incontrate, ma trasferisce pochissime conoscenze fattuali. Separando le componenti della procedura di distillazione emerge l’origine di questa asimmetria: sostituire la KL inversa con la KL diretta ripristina il trasferimento delle conoscenze fattuali, mentre i rollout dello studente migliorano specificamente l’esecuzione del ragionamento in più passaggi. Esperimenti su domande relative a fatti recenti e su problemi di matematica da competizione mostrano un’asimmetria simile con l’OPD a KL inversa: i miglioramenti nel ragionamento sono notevoli, senza un ampliamento della memoria fattuale. Nel complesso, questi risultati dimostrano che la distillazione on-policy non amplia le conoscenze parametriche di un modello, ma gli insegna a organizzare e combinare quelle che già possiede.