The Pulse
StateBench rileva un calo di accuratezza dei modelli linguistici nei compiti più difficili di tracciamento dello stato man mano che i documenti si allungano
allenai ha presentato StateBench, un benchmark che misura la capacità dei modelli linguistici di tenere traccia delle informazioni che cambiano all’interno di documenti lunghi. Gli autori riferiscono che l’accuratezza nei problemi più diffi
AI.info Team · Scritto con l’IA · verificato ·
allenai ha presentato StateBench per testare come i modelli linguistici tengono traccia delle informazioni sulle entità mentre queste cambiano all’interno di documenti lunghi. Il benchmark valuta problemi che vanno dall’individuazione dell’ultimo aggiornamento al tracciamento di catene di aggiornamenti, nelle quali un passaggio mancato può cambiare la risposta. Secondo allenai, i modelli di frontiera testati continuano a fallire nelle forme più difficili di tracciamento dello stato man mano che gli input si allungano.
Quattro livelli di tracciamento dello stato
StateBench raggruppa i suoi compiti in quattro livelli, ciascuno dei quali consente aggiornamenti più complessi di una variabile. Nei problemi r-trivial, un valore non cambia mai, quindi il modello deve recuperarne il valore iniziale. I problemi aperiodici consentono la riassegnazione, facendo sì che l’ultimo valore sia quello rilevante.
I problemi risolubili aggiungono aggiornamenti autoreferenziali, come l’aggiunta di punti a un punteggio cumulativo, per cui un modello deve tenere conto di ogni cambiamento nei passaggi successivi. I problemi finiti generali aggiungono l’assegnazione per riferimento: una variabile può assumere il valore corrente di un’altra, creando dipendenze tra gli aggiornamenti. Il livello finito generale può essere illustrato dal problema di tracciamento dello stato S₅, nel quale scambi successivi riordinano cinque oggetti.
Gli autori scrivono che i quattro livelli rappresentano anche distinzioni radicate nella teoria di Krohn–Rhodes, che descrive come i problemi di tracciamento dello stato possano essere scomposti in primitive atomiche. Per confrontare i livelli, i ricercatori ricavano tre versioni più semplici da una sequenza finita generale; i compiti risultanti usano lo stesso numero di variabili e di valori distinti, con assegnazioni negli stessi punti della sequenza.
Quasi tutti i modelli preaddestrati perdono accuratezza nei problemi aperiodici man mano che gli input si allungano
Per i test sui modelli preaddestrati, allenai ha valutato modelli aperti sui livelli r-trivial, aperiodico e finito generale. Il gruppo comprendeva due modelli da 7 miliardi di parametri, Olmo 3, un transformer, e Olmo Hybrid, che aggiunge livelli Gated DeltaNet, oltre a modelli da 275 milioni e 2,7 miliardi di parametri.
Tutti questi modelli sono stati preaddestrati sugli stessi dati e nessuno aveva visto contesti più lunghi di 64.000 token durante l’addestramento. allenai ne ha testato la maggior parte su input che superavano quella lunghezza. Quasi tutti hanno ottenuto buoni risultati nei compiti r-trivial, hanno perso accuratezza nei compiti aperiodici man mano che gli input si allungavano e sono rimasti a livelli casuali nei problemi finiti generali.
Le prestazioni variavano anche a seconda del formato del compito. I modelli ibridi e Gated DeltaNet da 275 milioni di parametri hanno ottenuto punteggi vicini al massimo nei compiti r-trivial in stile RULER, ma prossimi al livello casuale quando gli stessi problemi erano presentati come modifiche a fogli di calcolo. Questo divario è uno dei motivi per cui StateBench testa lo stesso problema di fondo in diversi formati.
L’accuratezza dei modelli di frontiera cala nettamente nei problemi risolubili e finiti generali man mano che gli input si allungano
allenai ha testato Gemini 3.8 Flash, Claude Opus 5.5 e GPT-6 Sol e Luna chiedendo loro di leggere sequenze di assegnazioni di variabili e fornire il valore finale di ciascuna variabile. Tutti e quattro hanno ottenuto buoni risultati nei problemi r-trivial e aperiodici. Nei compiti risolubili e finiti generali, invece, l’accuratezza è diminuita nettamente man mano che gli input si allungavano, raggiungendo il 13% o meno nei problemi finiti generali più lunghi.
allenai individua nella sensibilità un probabile fattore nei compiti più difficili: un maggior numero di passaggi può influenzare la risposta finale, lasciando meno margine per un aggiornamento mancato.
Modelli addestrati direttamente su StateBench
Per verificare se i compiti più difficili mettano in luce limiti architetturali o lacune nel preaddestramento, allenai ha addestrato da zero su StateBench modelli da 275 milioni di parametri. Gli esperimenti comprendevano due varianti di transformer, due ibridi e due varianti di Gated DeltaNet con diversi vincoli sull’aggiornamento della memoria. I modelli sono stati addestrati su sequenze fino a 256 assegnazioni e testati su sequenze lunghe fino a 64.000 assegnazioni.
I modelli Gated DeltaNet e ibridi hanno generalizzato quasi perfettamente sui problemi r-trivial, aperiodici e risolubili fino alle sequenze più lunghe testate. I transformer hanno appreso i livelli più semplici, ma le loro prestazioni sono peggiorate sulle sequenze più lunghe e non hanno mai imparato a risolvere i problemi finiti generali. Su quel livello, il più difficile, la variante Gated DeltaNet con un aggiornamento della memoria più flessibile ha mantenuto prestazioni quasi perfette fino a sequenze circa 10 volte più lunghe delle sequenze di addestramento più lunghe.
Questioni aperte e rilascio
Secondo allenai, resta irrisolta l’esatta collocazione nella gerarchia di Gated DeltaNet con un aggiornamento della memoria più limitato, compresi gli interrogativi sulla sua capacità di risolvere tutti i compiti risolubili e su come la precisione numerica o la sua combinazione con livelli di attenzione ne influenzino le capacità. StateBench presuppone inoltre un numero fisso di variabili, mentre i compiti reali introducono spesso nuove entità nel tempo. Il quadro attuale non copre ancora questo scenario.