Superare i limiti di scalabilità dell’autodistillazione on-policy per il ragionamento degli LLM

Abstract degli autori

L’autodistillazione on-policy (OPSD) addestra un modello studente a riprodurre la distribuzione di un modello insegnante che dispone di informazioni privilegiate, seguendo una traiettoria campionata dallo studente stesso. L’OPSD standard applica questa supervisione a sequenze generate dallo studente e non verificate, mentre fornisce all’insegnante un contesto privilegiato, di norma una soluzione di riferimento. Separiamo questi due aspetti in un’analisi fattoriale e rileviamo che la correttezza delle strutture di supporto incide sull’accuratezza nelle valutazioni successive più della correttezza del contesto. Le strutture di supporto non verificate creano un divario nell’imitazione, perché l’insegnante può usare informazioni non disponibili allo studente. Questo divario si riduce al crescere delle dimensioni dei modelli, ma l’OPSD continua a supervisionare soprattutto traiettorie non verificate. Le strutture di supporto verificate, invece, restano efficaci anche quando il contesto fornito all’insegnante è una sequenza infruttuosa generata dallo studente stesso. Sulla base di questo risultato, introduciamo OASIS, che mantiene l’obiettivo dell’OPSD ma supervisiona soprattutto traiettorie on-policy verificate tramite etichette e sostituisce le soluzioni scritte con tentativi non verificati generati dal modello come contesto per l’insegnante. OASIS richiede quindi soltanto le etichette delle risposte finali. Nei test con Qwen3-1.7B, 4B e 8B su AIME 2024, AIME 2025 e HMMT 2025, OASIS migliora in media il risultato del modello di base di 3,2--3,8 punti, mentre il guadagno dell’OPSD scende da 3,05 punti con il modello da 1,7B a 0,14 con quello da 8B. Con il modello da 8B, OASIS supera l’OPSD di 3,05 punti, mostrando che le strutture di supporto on-policy verificate preservano l’efficacia dell’autodistillazione al crescere delle dimensioni dei modelli.