RLVR affila la matita, non la mente

Abstract degli autori

Modelli come DeepSeek-R1 hanno reso famoso l’apprendimento per rinforzo con ricompense verificabili (RLVR): si premia un modello per le risposte corrette e la sua capacità di ragionare migliora drasticamente, senza che gli venga insegnato come farlo. La spiegazione più accreditata è quella dell’affilatura: il modello di base sa già come risolvere questi problemi e l’RLVR si limita a rendere più probabile che imbocchi i percorsi risolutivi migliori. Questo è stato verificato solo confrontando il modello prima e dopo l’addestramento, mai osservando cosa cambia al suo interno durante l’addestramento. Abbiamo seguito OLMo-2-1B in tutti e 13 i checkpoint di addestramento su GSM8K. La precisione al primo tentativo sale dal 58,0% al 61,3%, ma se si interroga il modello 256 volte, la copertura delle soluzioni aumenta effettivamente dal 94,5% al 96,9%, a dimostrazione del fatto che le conoscenze erano già presenti. Abbiamo poi inserito errori di ragionamento nei problemi e addestrato probe semplici per rilevarli. In tutti e 13 i checkpoint e per i 3 tipi di errore, quei probe hanno mantenuto valori di AUROC compresi tra 0,798 e 0,840, con uno scarto inferiore all’intervallo di confidenza; il modello non sviluppa mai una rappresentazione interna più nitida di come si presenta un errore di ragionamento. L’unico cambiamento interno effettivo che rileviamo è nel token della risposta finale: qui un probe che distingue i checkpoint iniziali da quelli finali raggiunge un AUROC di 0,93, mentre lo stesso probe applicato agli effettivi passaggi di ragionamento ottiene risultati prossimi al caso. L’RLVR fa sì che il modello cominci dal suo ragionamento migliore. Non cambia la natura di quel ragionamento.