KDFP: un approccio basato sui principi primi alla distillazione della conoscenza nei modelli linguistici di grandi dimensioni

Abstract degli autori

La distillazione della conoscenza è una tecnica consolidata per migliorare le capacità di modelli allievi piccoli ed efficienti, addestrandoli con le rappresentazioni di modelli insegnanti più grandi e capaci. Gran parte dei lavori recenti sulla distillazione dei modelli linguistici di grandi dimensioni (LLM) si è concentrata sulle capacità apprese durante il post-addestramento, come seguire le istruzioni, ragionare attraverso catene di pensiero e usare strumenti. Resta così un’ampia lacuna nella ricerca sulla distillazione della conoscenza generale per gli LLM, essenziale per sviluppare sistemi efficienti e privati adatti all’impiego su dispositivi edge. Adottiamo un approccio basato sui principi primi: valutiamo gli insegnamenti tratti dai lavori precedenti e conduciamo nuove esplorazioni per sviluppare una metodologia di distillazione adatta agli LLM moderni. Presentiamo KDFP, una nuova metodologia per la distillazione della conoscenza generale a scatola bianca negli LLM. Dimostriamo che KDFP supera i metodi esistenti dell’1,6% $-$ 4,9% su 9 benchmark, aumentando al contempo l’efficienza dell’addestramento fino al 99,1% grazie alla riduzione temporanea dei parametri.