Quanto conta il suggerimento? Condizioni di applicabilità dell’autodistillazione retrospettiva nel ragionamento finanziario

Abstract degli autori

Gli istituti finanziari soggetti a vincoli sulla residenza dei dati devono limitarsi a modelli a pesi aperti abbastanza piccoli da poter essere ospitati localmente, che nel ragionamento quantitativo a più passaggi sono inferiori ai sistemi di frontiera. La distillazione on-policy riduce questo divario addestrando un modello studente sui suoi stessi rollout, ma la OPD tradizionale richiede un modello insegnante esterno potente, mentre l’autodistillazione on-policy (OPSD) usa come condizione una soluzione di riferimento completa. Ci chiediamo quanta parte di questo segnale sia necessaria. Presentiamo Fin-SD, una procedura localizzata di autodistillazione retrospettiva per il ragionamento a più passaggi. Di fronte a un problema che non riesce a risolvere, lo studente individua da sé il primo passaggio errato del ragionamento e ne scrive una breve critica. Tronchiamo la traiettoria dello studente subito prima dell’errore (con l’obiettivo di ottenere un prefisso corretto), forniamo a una copia congelata dello studente lo stesso prefisso e il suggerimento come condizioni, quindi distilliamo nello studente il modello insegnante così condizionato, usando un breve rollout e la divergenza KL inversa. Nessun modello esterno contribuisce al gradiente. Applichiamo Fin-SD a GPT-OSS-20B su un benchmark personalizzato di ragionamento finanziario a più passaggi, che richiede di ricavare i dati da inserire nelle formule a partire da scenari realistici, applicando le convenzioni contabili. Riscontriamo che: (i) sostituire la critica con un controllo basato su un feedback generico produce l’intero incremento di accuratezza di 3,03 punti percentuali ottenuto da Fin-SD rispetto al modello di base nel sottoinsieme FinanceReasoning Hard, suggerendo che il miglioramento dipenda dal punto in cui viene applicata la supervisione, non dal contenuto del suggerimento; (ii) il modello che scrive il suggerimento non deve essere più potente di quello che lo riceve: i suggerimenti di GPT-OSS-120B, della stessa famiglia e con circa 6 volte i parametri, non apportano benefici sensibilmente maggiori rispetto a quelli scritti dallo studente stesso; e (iii) Fin-SD raggiunge la stessa accuratezza dell’autodistillazione on-policy basata su soluzioni di riferimento complete, generando il 9,5% di token in meno. Con Fin-SD, né il ragionamento generale su MMLU-Pro né un audit di conformità su FinTrust basato su quattordici metriche mostrano regressioni significative.