TraceForge: distillare con il proprio ragionamento

Abstract degli autori

Usare un LLM per generare dati di addestramento per un altro è uno dei metodi più generali per addestrare un modello, e resta una pratica comune. Alcuni team all’avanguardia hanno precluso questa strada per i propri modelli: si ottiene una risposta, o un breve riepilogo, senza la traccia dettagliata del ragionamento che vi sta dietro. C’è una certa ironia: quegli stessi modelli sono stati costruiti distillando la conoscenza umana, e distillare un modello open source resta una pratica del tutto ordinaria; la restrizione riguarda soltanto i loro output. Ricerche recenti recuperano il ragionamento nascosto riproducendo blocchi cifrati su modelli diversi. In qualche modo funziona, ma viola i termini di servizio dei fornitori, quindi non è una base su cui costruire un prodotto a lungo termine. Noi abbiamo sviluppato un’alternativa. Prendiamo in input il contesto e la risposta del modello insegnante, e generiamo noi stessi la traccia del ragionamento, nello stile della famiglia di modelli a cui appartiene lo studente. L’addestramento si svolge in due fasi, prima supervisionata e poi avversaria: un generatore impara a ricreare le tracce di ragionamento della famiglia a partire dal loro contesto e dalla loro risposta, mentre un critico impara a valutare quanto una traccia sembri autentica. Applicato alla risposta di un modello insegnante, il generatore scrive una traccia nello stile della famiglia. Un valutatore indipendente assegna alle tracce un punteggio da 0 a 1 in base alla probabilità che siano autentiche: le nostre ottengono in media 0,68, quelle reali 0,66 e quelle selezionate dal critico fra quattro candidate 0,82. Sono punteggi di autenticità, non percentuali di risposte corrette. Mettiamo alla prova l’idea su cinque benchmark, mantenendo invariato tutto il resto. Nei compiti generali i cinque corpora di addestramento danno risultati pressoché identici; nella programmazione, il ragionamento generato supera il contenuto del ragionamento di Fable 5 stesso. Con le stesse 5.000 domande e le stesse risposte del modello insegnante, HumanEval+ migliora di 3,7 punti e MBPP+ di 7,1 al checkpoint finale; il vantaggio su MBPP+ si mantiene a ogni checkpoint. Sospettiamo che per lo studente sia più facile imparare da un ragionamento scritto nello stile della propria famiglia di modelli.