Il post-addestramento lascia tracce comportamentali in decisioni non correlate

Abstract degli autori

Scopriamo che i modelli linguistici possono trasferire capacità attraverso testi non correlati al compito. Di norma, il post-addestramento migliora i modelli linguistici usando dati specifici del compito. Studi precedenti sull’apprendimento subliminale mostrano che informazioni su questi aggiornamenti possono passare attraverso generazioni di testo non correlate, ma si sono concentrati soprattutto su tratti o preferenze, utilizzando un’ampia quantità di output del modello insegnante. Presentiamo Active Taskless Distillation (ATD), che ottiene un trasferimento di capacità usando una sola parola del modello insegnante per ogni prompt. ATD sonda le tracce comportamentali del post-addestramento selezionando prompt per i quali l’antenato pubblico comune al modello insegnante e al modello studente non mostra quasi alcuna preferenza fra due parole comuni. Un modello studente inizializzato a partire da questo antenato apprende soltanto dalle coppie prompt-parola così ottenute, senza esempi del compito bersaglio, logits del modello insegnante o parametri del modello insegnante. Nell’esperimento principale di programmazione con Qwen2.5-1.5B, 5.664nses producono un miglioramento di 5,34 punti percentuali su HumanEval+ rispetto a un controllo con fattori di disturbo esattamente corrispondenti thadisrupts prompt-resperiments showtransfer nelle conoscenze scientifiche, nel ragionamento basato sul senso comune e nella comprensione del testo, anche con modelli di ulteriori generazioni, dimensioni e famiglie. Le analisi funzionali mostrano che il sid appreso è componibile e che la sua forza segue quella dell’aggiornamento del modello insegnante.