Latent-MOPD: distillazione on-policy latente con più insegnanti

Abstract degli autori

La distillazione on-policy (OPD) addestra un modello studente sulle risposte che genera. Gli attuali metodi di OPD con più insegnanti per i modelli linguistici di grandi dimensioni (LLM) trasferiscono ciò che i modelli specialisti prevedono attraverso le loro distribuzioni di output. Presentiamo Latent-MOPD, a nostra conoscenza il primo metodo di OPD con più insegnanti per LLM che opera a livello delle rappresentazioni. Integra modelli specialisti esistenti attraverso sia le loro previsioni sia gli stati nascosti usati per calcolarle, senza addestramento aggiuntivo degli insegnanti. Per coordinare la supervisione delle rappresentazioni fornita da più specialisti, selezioniamo gli obiettivi negli strati finali in base al rapporto tra insegnante e studente, usiamo una proiezione condivisa per raccordare stati nascosti di dimensioni diverse e raggruppiamo gli aggiornamenti per dominio. La supervisione fornita da ciascun insegnante passa gradualmente dagli stati nascosti alle previsioni dei token; entrambi i canali usano lo stesso specialista selezionato dall’instradamento. Nella nostra configurazione principale, con modelli della stessa famiglia, Latent-MOPD supera le baseline basate solo sui token, solo sulle rappresentazioni e sulla media uniforme in tutti i 9 benchmark di matematica, codice e logica. Pur avendo lo stesso numero di parametri di ciascun insegnante, lo studente supera anche il migliore tra gli insegnanti per ciascun benchmark nella maggioranza di questi benchmark. Con insegnanti più grandi, appartenenti a famiglie diverse e sviluppati separatamente, Latent-MOPD supera entrambe le baseline a canale singolo in tutti i benchmark. Un modello di controllo della stessa famiglia, basato solo sulle rappresentazioni di tutti gli strati, rimane stabile quando ogni aggiornamento riguarda un solo dominio, ma collassa quando, all’interno di un aggiornamento, si alternano i domini degli insegnanti. I nostri risultati mostrano che un unico studente può integrare le capacità di diversi specialisti attraverso sia le loro distribuzioni di output sia le loro rappresentazioni interne.