The Pulse
L’apprendimento per rinforzo ha addestrato gli LLM a giocare a tris, ma non a ragionare strategicamente
Uno studio sull’apprendimento per rinforzo nei piccoli modelli linguistici ha rilevato un calo dell’accuratezza quando le griglie del tris venivano presentate in ASCII anziché in linguaggio naturale. L’analisi suggerisce che i modelli si ba
AI.info Team · Scritto con l’IA · verificato ·
Quando le griglie del tris erano rappresentate in ASCII, l’accuratezza del modello più efficace di un nuovo studio è scesa dal 73% ottenuto con prompt in linguaggio naturale al 44%. Il risultato indica un divario tra il miglioramento in un benchmark e l’apprendimento di una strategia applicabile a diverse rappresentazioni dello stesso problema. In un articolo presentato ad arXiv il 29 ottobre, Aishik Nagar della Carnegie Mellon University e Cheston Tan di A*STAR esaminano che cosa cambia l’apprendimento per rinforzo all’interno di piccoli modelli linguistici addestrati a giocare a tris.
Punteggi più alti, prove più deboli di una strategia
I ricercatori hanno addestrato modelli Qwen2.5 con 0,5 miliardi e 1,5 miliardi di parametri, insieme a Llama 3.2 1B Instruct, usando Group Relative Policy Optimization (GRPO). Hanno testato la previsione delle mosse consentite e la scelta della mossa migliore in diversi stati del gioco, usando anche suddivisioni dei dati concepite per mantenere nello stesso gruppo le rotazioni e le riflessioni di una griglia. I 5.478 stati validi raggiungibili nel gioco hanno permesso al team di confrontare il comportamento dei modelli con un insieme completo di posizioni generate in modo esaustivo.
GRPO ha migliorato le prestazioni di tutti e tre i modelli. Il più efficace ha raggiunto un’accuratezza del 74% nella scelta della mossa migliore sulla suddivisione casuale e del 71% su quella controllata per simmetria, mentre la previsione delle mosse consentite ha raggiunto il 100% in una delle configurazioni. I miglioramenti erano reali, ma da soli non dimostravano che i modelli avessero appreso concetti strategici riutilizzabili.
«Sul piano quantitativo, RL produce un’elevata accuratezza e robustezza rispetto alle variazioni dei prompt, suggerendo l’emergere di un ragionamento sul gioco.»
Aishik Nagar e Cheston Tan, autori dell’articolo
I modelli seguivano il prompt più della logica della griglia
Per esaminare le rappresentazioni interne, gli autori hanno usato autoencoder sparsi e verificato se nelle attivazioni dei modelli fossero riconoscibili proprietà di ogni posizione. Hanno scoperto che GRPO rendeva più evidenti informazioni già presenti nel prompt, come a chi spettasse il turno e quanto fosse avanzata la partita. Le caratteristiche strategiche, tra cui il fatto che una mossa avrebbe bloccato un avversario o creato una doppia minaccia, restavano debolmente rappresentate.
Per Qwen2.5-1.5B, un indicatore che misura quanto gli stati della griglia si distinguessero in base all’avanzamento della partita è salito da 274 a 2.330 lungo un asse dominante in uno strato intermedio. Un indicatore corrispondente relativo all’identità del giocatore di turno è sceso nello stesso punto da 5.285 a 316, per poi riemergere negli strati successivi. I ricercatori hanno anche esaminato le attivazioni grezze dei modelli, senza la pipeline di visualizzazione basata sugli autoencoder: l’identità del giocatore di turno e l’avanzamento della partita erano già perfettamente decodificabili prima dell’addestramento, mentre le sonde per la situazione strategica e la simmetria hanno mostrato pochi cambiamenti dopo GRPO.
I cambiamenti di formato hanno rivelato una capacità fragile
Il calo nel passaggio dalle descrizioni in linguaggio naturale alle griglie ASCII suggerisce che i modelli non abbiano costruito una rappresentazione del gioco indipendente dal formato dell’input. La sostituzione dei simboli dei giocatori X e O con altri caratteri ha provocato un calo più contenuto, ma costante. Gli autori hanno anche rilevato che i modelli sceglievano mosse corrispondenti per griglie ruotate o riflesse solo nel 56%-58% circa dei casi, anziché applicare in modo affidabile la stessa strategia con un orientamento diverso.
I risultati non sono riconducibili alla sola memorizzazione. Sugli stati esclusi dall’addestramento, l’accuratezza di Qwen2.5-1.5B nella scelta della mossa migliore era vicina a quella ottenuta sugli stati di addestramento in entrambe le suddivisioni dei dati. Gli autori sostengono invece che i modelli abbiano imparato a usare più efficacemente gli indizi visibili, senza sviluppare le astrazioni di livello superiore esaminate nei loro test.
Un test circoscritto, non un giudizio sui modelli di frontiera
La portata dell’articolo è volutamente limitata: tre modelli sottoposti a instruction tuning, con un numero di parametri compreso tra 0,5 miliardi e 1,5 miliardi, un solo gioco semplice e GRPO anziché altri metodi di apprendimento per rinforzo. Gli autori non sostengono che i loro risultati descrivano sistemi delle dimensioni dei modelli di frontiera o il ragionamento aperto. La loro analisi esamina inoltre 11 dei 28 strati dei modelli e checkpoint ogni 300 passaggi di addestramento, lasciando spazio a cambiamenti interni che le loro misurazioni potrebbero non rilevare.
Questo limite è importante perché il tris è insolitamente facile da enumerare, ma molto lontano dai compiti aperti. Gli autori propongono di estendere il lavoro a Forza 4, all’algebra elementare e alla pianificazione in ambienti a griglia. Resta da stabilire se lo stesso divario tra i miglioramenti nei benchmark e le rappresentazioni strategiche emerga in questi ambiti o in modelli più grandi.