Ereditato, non inventato: ricostruire la provenienza di Wait nei modelli di ragionamento

Abstract degli autori

Al reinforcement learning (RL) si attribuisce il merito di aver insegnato ai modelli di ragionamento a scrivere {wait} prima di riconsiderare un passaggio, eppure per ottenere forti aumenti di accuratezza con RL quella parola non è necessaria. Questa interpretazione può confondere ciò che l’RL scopre con ciò che un modello eredita dai dati di addestramento. Ripercorriamo la storia della parola nell’addestramento di modelli aperti, esaminandola attraverso indici senza etichette relativi a frequenza, posizione, forma e uso, e con un test basato sull’introduzione di un errore: tutte le misure sono calcolate su output campionati. Riscontriamo che lo zero-RL non introduce quasi mai il marcatore: nei modelli di base privi della parola, l’RL aumenta notevolmente l’accuratezza su MATH-500, mentre {wait} rimane pressoché assente. Il marcatore arriva con i dati di addestramento: compare durante la fase intermedia dell’addestramento di OLMo-3, e il fine-tuning su tracce di ragionamento lo introduce nella maggior parte dei modelli di base che ne sono privi. Quando il modello di base lo usa già, entrambe le procedure RL-Zero pubblicate (OLMo-3, MiMo) ne moltiplicano l’uso, mentre GRPO senza KL, applicato allo stesso modello di base, non lo fa; la procedura di OLMo-3 ne degrada la forma e lo rende un segnale d’allarme più sensibile, ma anche più incline a scattare; l’RL successivo al fine-tuning supervisionato lo modifica appena, mentre la nostra procedura GRPO cancella un marcatore introdotto dal fine-tuning. Infine, mostriamo che la sola frequenza del marcatore non indica la presenza di ragionamento indotto dall’RL e mettiamo in guardia dalle metriche di revisione basate su LLM usati come giudici, perché i giudici automatici possono rilevare tendenze opposte a quelle indicate dalle etichette assegnate da esseri umani.