I modelli di base possono ragionare cogliendo segnali dai dati di addestramento

Abstract degli autori

In questo articolo studiamo come i dati di addestramento creino associazioni tra i token all’inizio della risposta di un modello di base e il comportamento di ragionamento che segue. Per prima cosa, dimostriamo che, fissando specifiche sequenze di token iniziali come segnali, le prestazioni di un modello di base nei compiti di matematica e programmazione diventano competitive con quelle dei corrispondenti modelli addestrati con apprendimento per rinforzo (RL). Per esempio, la sequenza «.\n\nOkay» fa salire l’accuratezza pass@1 di Olmo-3-7B su MATH-500 dal 42% al 78%, mentre «Alright,» fa salire quella di Qwen3-14B dal 72% all’87%. In secondo luogo, l’RL aumenta la probabilità che compaiano questi segnali, mentre fissarli permette di recuperare gran parte del miglioramento delle prestazioni che l’RL apporta rispetto al modello di base. In terzo luogo, riconduciamo gli effetti dei segnali costituiti da token sul ragionamento ai dati di addestramento. Effettuiamo interventi causali sui dati per trasformare una parola arbitraria, come «chicken», in un efficace segnale per il ragionamento, oppure per eliminare l’effetto di un segnale esistente. Una modifica simile rende l’istruzione nel prompt «Think duck duck goose» efficace quanto «Think step by step» nel sollecitare il ragionamento. Scopriamo inoltre che le rappresentazioni degli stati nascosti indotte da segnali diversi sono correlate a diversi tipi di documenti del set di addestramento. Infine, estendiamo lo studio dei segnali costituiti da token con un caso di studio sulla sicurezza dei modelli linguistici, rilevando che segnali diversi suscitano comportamenti distinti di rifiuto e di adesione alle richieste, corrispondenti a diversi tipi di dati di addestramento.