The Pulse
Due token iniziali avvicinano i modelli di base a quelli addestrati con RL nei test di matematica
Uno studio riferisce che inserire in anticipo determinate aperture delle risposte ha migliorato sensibilmente i punteggi di due modelli di base nei benchmark matematici, avvicinandoli alle rispettive versioni addestrate con apprendimento pe
AI.info Team · Scritto con l’IA ·
Un’apertura composta da un punto, una riga vuota e «Okay» porta il punteggio di Olmo-3-7B su MATH-500 dal 42% al 78%, vicino al 75% della sua controparte addestrata con apprendimento per rinforzo. Il risultato compare in uno studio presentato ad arXiv il 5 ottobre 2026 da Sophie L. Wang, Amil Dravid, Rulin Shao, Kevin Farhat, Sewon Min e Alexei A. Efros. I loro esperimenti suggeriscono che i primi token della risposta di un modello possono orientare un comportamento di ragionamento che il modello ha già appreso.
Olmo-3-7B guadagna 36 punti su MATH-500
I ricercatori chiamano queste aperture «token di innesco». Anziché modificare i pesi del modello, inseriscono in anticipo l’inizio della sua risposta e lasciano che prosegua. Per Olmo-3-7B, l’innesco scelto è un punto, una riga vuota e «Okay»; per Qwen3-14B è «Alright,».
Su MATH-500, l’innesco per Qwen3-14B porta l’accuratezza pass@1 — la probabilità che una singola risposta campionata sia corretta — dal 72% all’87%, eguagliando la controparte Qwen addestrata con RL esaminata nello studio. Gli autori hanno testato anche GSM8K, AMC 2023, AIME 2024 e HumanEval, riportando miglioramenti in diversi confronti su matematica e programmazione. Affermano che, in questi test, gli inneschi spesso eguagliano o superano i risultati ottenuti con RL, anche se il punteggio di Qwen su HumanEval resta vicino al livello di partenza, già elevato, senza innesco.
«In questo studio esaminiamo come i dati di addestramento creino associazioni tra i token all’inizio della risposta di un modello di base e il comportamento di ragionamento che segue.»
Scrivono gli autori: Sophie L. Wang, Amil Dravid, Rulin Shao, Kevin Farhat, Sewon Min e Alexei A. Efros, autori dello studio
L’innesco cambia l’apertura, non i pesi del modello
Il confronto riguarda specificamente i modelli e le configurazioni dello studio. Il gruppo ha valutato Olmo-3-7B e Qwen3-14B rispetto alle rispettive controparti addestrate con RL, campionando 32 risposte per problema e fissando un limite massimo di 31.744 token per risposta, salvo diversa indicazione. Lo studio definisce pass@1 come la probabilità che una singola risposta campionata sia corretta.
I ricercatori hanno cercato aperture efficaci senza usare le etichette delle risposte corrette: hanno proposto inizi plausibili e li hanno selezionati in base alla concordanza tra le risposte campionate. Hanno anche verificato se il beneficio dell’innesco fosse spiegato soltanto da risposte più lunghe. In un confronto fra 20 aperture candidate su MATH-500, con quattro risposte per problema e un limite di 31.744 token, la lunghezza media delle risposte di Olmo è passata da 4.800 a 6.700 token con l’innesco scelto. Lo studio riferisce inoltre che, confrontando le risposte a parità di limite di token, il modello con l’innesco ha superato quello senza innesco.
RL rende più probabili le stesse aperture
Lo studio riconduce parte del miglioramento misurato con RL all’apertura della risposta. Riferisce che le maggiori differenze tra le distribuzioni del token successivo nei modelli di base e in quelli addestrati con RL comparivano nelle prime due posizioni dell’output. La figura 3 mostra le probabilità di singoli token condizionate al prompt e al ramo precedente, non le probabilità di produrre ciascun innesco completo: i risultati indicano quindi che RL sposta la probabilità verso i token presenti nelle aperture scelte.
In un’ulteriore prova, i ricercatori hanno inserito l’innesco prima degli aggiornamenti dell’addestramento con RL. Secondo le curve di apprendimento riportate, questa modifica equivaleva a circa 100 passaggi di addestramento con RL per Olmo e 50 per Qwen; l’addestramento successivo con l’innesco imposto ha aggiunto poco prima che l’addestramento RL standard recuperasse il divario. L’esperimento non dimostra che l’apertura spieghi ogni effetto del post-addestramento, ma indica che una piccola modifica iniziale può recuperare gran parte del miglioramento di accuratezza misurato in queste prove.
Modificare i dati di addestramento cambia l’innesco
Per verificare se l’effetto derivasse da associazioni apprese, il gruppo ha modificato i dati di una fase intermedia dell’addestramento di Olmo e ha ripreso l’addestramento da un checkpoint intermedio. In questo esperimento ha addestrato il modello su una miscela da 10 miliardi di token, sostituendo le occorrenze di «Okay» come parola intera con «Chicken», poi lo ha valutato su MATH-500 con il prompt RL-Zero, un limite di 7.168 token per risposta e 32 risposte per problema. Con l’innesco composto da un punto, una riga vuota e «Chicken», l’accuratezza è salita dal 2,4% del modello addestrato sui dati originali al 37,2% di quello addestrato sui dati modificati. I ricercatori hanno anche modificato esempi di addestramento in modo che l’istruzione «Think duck duck goose» funzionasse all’incirca altrettanto bene di «Think step by step» nel suscitare un comportamento di ragionamento.
Questi risultati collegano l’effetto dell’innesco al testo usato nell’addestramento, anziché a una particolare proprietà delle parole stesse legata al ragionamento. Gli autori riferiscono inoltre che aperture diverse possono modificare la propensione a rifiutare o soddisfare le richieste. In Olmo-3-7B, «Okay,» ha ridotto i rifiuti e aumentato le risposte dannose a richieste non sicure, mentre l’innesco composto da un punto, una riga vuota e «Okay» ha prodotto un comportamento di rifiuto più selettivo.
Risultati solidi nei benchmark, evidenze circoscritte
I risultati offrono una spiegazione mirata di come un modello di base possa produrre comportamenti diversi a parità di pesi: i token iniziali orientano gli schemi appresi che plasmano il seguito della risposta. Questo conta nell’interpretazione dei benchmark di ragionamento, perché un miglioramento attribuito a RL potrebbe riflettere in parte una maggiore tendenza a iniziare le risposte con aperture associate alla riflessione.
Le evidenze non dimostrano che un breve prefisso possa sostituire RL per modelli, compiti o usi nel mondo reale in generale. I confronti riguardano modelli, prompt e benchmark selezionati, e i test di sicurezza mostrano che la scelta dell’innesco può influire sui rifiuti oltre che sulla risoluzione dei problemi. Nel confronto dello studio su MATH-500, l’apertura composta da un punto, una riga vuota e «Okay» porta Olmo-3-7B dal 42% al 78% di pass@1, contro il 75% della sua controparte addestrata con RL.