Addestrare modelli specialistici senza traiettorie di ragionamento per la distillazione delle competenze di esperti di dominio

Abstract degli autori

La distillazione da modelli specialistici trasferisce efficacemente le competenze di dominio ai modelli studenti attraverso traiettorie di ragionamento generate dal modello insegnante. Ma quando questi modelli specialistici vengono addestrati soltanto su coppie domanda-risposta, senza una supervisione esplicita del ragionamento, che cosa determina le traiettorie che generano? In questo lavoro mostriamo che l’ottimizzazione dei modelli specialistici seleziona implicitamente traiettorie da questo spazio latente. Per isolare e osservare tale distribuzione latente, usiamo la distillazione degli studenti non come obiettivo finale, ma come sonda indipendente: gli studenti non ereditano dal modello specialistico né la parametrizzazione né i vincoli di ottimizzazione, ma soltanto le traiettorie campionate. Attraverso questa sonda, la nostra analisi empirica rivela una stretta relazione: in 27 coppie di modelli specialistici e studenti, i rispettivi profili di specializzazione e generalizzazione mostrano una correlazione eccezionalmente forte. Un risultato cruciale è che controllare esplicitamente la deriva distribuzionale del modello specialistico sposta sistematicamente sia il modello insegnante sia lo studente ottenuto per distillazione lungo un compromesso controllabile tra precisione nel dominio e mantenimento delle capacità generali. In ambiti che comprendono la chimica, la fisica e contesti multilingue, gli studenti ottenuti per distillazione riflettono sistematicamente questi profili indotti dai modelli specialistici, anche quando appartengono a famiglie di modelli diverse. I nostri risultati offrono una nuova prospettiva sull’addestramento dei modelli specialistici: in assenza di ragionamenti di riferimento, le scelte di messa a punto controllano direttamente la supervisione latente trasmessa ai modelli successivi.