La fuoriuscita del ragionamento nell’apprendimento per rinforzo dei LLM

Abstract degli autori

I modelli di ragionamento ibridi, come quelli della serie Qwen3, passano dalla modalità THINK alla modalità NO-THINK e viceversa tramite pochi token del template di chat. Un metodo diffuso addestra questi modelli con l’apprendimento per rinforzo in modalità NO-THINK e rileva un miglioramento delle prestazioni nel ragionamento. Presentiamo prove del fatto che gran parte di questo miglioramento si può spiegare con una fuoriuscita del ragionamento: il guadagno deriva in larga misura dalla riattivazione parziale delle capacità di ragionamento che il modello originale possiede in modalità THINK, anziché dall’apprendimento di un comportamento di ragionamento più avanzato. Addestriamo Qwen3-1.7B, 4B e 8B con GRPO in modalità NO-THINK. Con l’aumentare dell’accuratezza, le risposte diventano più lunghe e riflessive; il modello originale le giudica sempre più simili al proprio ragionamento e le attivazioni interne del modello si spostano verso quelle della modalità THINK. Esaminiamo poi pesi, attivazioni e teste di attenzione: aumentando ulteriormente l’entità dell’aggiornamento dovuto all’apprendimento per rinforzo, emerge un comportamento da modalità THINK e l’accuratezza si avvicina a quella di tale modalità, senza però superarla; in Qwen3-8B, sostituire i valori di un sottospazio di attivazioni a bassa dimensionalità legato a THINK del modello addestrato con l’apprendimento per rinforzo con quelli del modello originale elimina gran parte del guadagno ottenuto, mentre lo scambio inverso trasferisce al modello originale una quota considerevole di tale guadagno; inoltre, lo spostamento indotto dall’apprendimento per rinforzo passa attraverso le teste di attenzione che leggono il blocco think vuoto. Individuiamo inoltre un possibile meccanismo nel segnale di addestramento di GRPO: le risposte favorite dall’aggiornamento ponderato in base al vantaggio sono più simili a quelle della modalità THINK, e un passo di aggiornamento del gradiente calcolato da questo segnale sposta il modello verso il suo stato THINK. I miglioramenti in modalità NO-THINK possono dunque riflettere in larga misura la riattivazione di capacità di ragionamento già presenti nel modello originale.