Modelli di ragionamento inverso per un post-training efficiente e la verifica a partire da dati con sole risposte

Abstract degli autori

Il post-training degli LLM di ragionamento richiede spesso un compromesso tra supervisione costosa e inefficienza computazionale: il fine-tuning supervisionato richiede in genere tracce di ragionamento, il che è inefficiente sul piano dei dati, poiché in molte applicazioni si dispone soltanto di coppie prompt-risposta e manca la sequenza di riferimento della catena di pensiero (CoT). D’altra parte, l’apprendimento per rinforzo (per esempio con ricompense verificabili) può operare senza dati CoT, ma è molto più inefficiente dal punto di vista computazionale, perché richiede più completamenti autoregressivi per ogni passo di ottimizzazione, nessuno dei quali garantisce un gradiente della policy diverso da zero. In questo lavoro esploriamo una via intermedia: una tecnica di auto-distillazione che usa dati con sole risposte, trattando la CoT come una variabile latente. L’approccio si basa sull’addestramento di un LLM partner di «ragionamento inverso», che genera le tracce di ragionamento del modello originale condizionate alla risposta. Il modello inverso viene addestrato una sola volta e riutilizzato sui batch in arrivo di dati con sole risposte; tutta la generazione avviene offline e in anticipo, rendendo l’approccio particolarmente adatto al post-training continuo. Usando Qwen3-0.6B nei task Countdown e GSM8K, mostriamo che, dopo che l’addestramento GRPO è arrivato a saturazione, un singolo ciclo di distillazione offline dal modello inverso raddoppia all’incirca pass@1 sui prompt difficili e, su Countdown, supera la self-distillation tramite rejection sampling su tutte le metriche relative alla coda difficile e a ogni rapporto di mix (con guadagni più contenuti su GSM8K); per sua stessa natura, il rejection sampling non fornisce alcun segnale sui problemi che il modello non risolve da sé. Il GRPO proseguito sui nuovi dati mantiene un vantaggio su hard pass@1, ma resta indietro rispetto alla distillazione su pass@8 e pass@32, pur rigenerando i rollout a ogni passo. Come ulteriore vantaggio, osserviamo che il modello inverso ha una seconda applicazione: verificare con precisione la correttezza. Quando viene usato per la selezione best-of-$n$ al momento del test, porta l’accuratezza della selezione su Countdown da 0,753 (voto di maggioranza) a 0,969.