Approfondimenti tecnici

I modelli a spazio di stato e l’era post-transformer

Dai modelli S4 e Mamba agli stati a valori complessi e al MIMO di Mamba-3: come si sono evoluti i modelli a spazio di stato e perché, nel 2026, la risposta è ibrida. Nemotron 3, i modelli ibridi Granite 4.0 e Qwen3-Next mantengono tutti una

AI.info Team · 2026-08-17

Il muro della complessità quadratica

Ogni decoder transformer paga lo stesso prezzo: calcolare la self-attention su un contesto lungo n richiede un tempo O(n²) nella fase di prefill, perché ogni token presta attenzione a sé stesso e a tutti i token precedenti, anche se FlashAttention riduce l’uso della memoria rendendolo lineare rispetto alla lunghezza della sequenza. La decodifica autoregressiva viene di solito riformulata con una cache key-value (KV), così che ogni nuovo token richieda O(n) anziché il ricalcolo dell’intera matrice di attenzione. Ma questo accorgimento scambia capacità di calcolo con memoria: la cache cresce linearmente con il contesto e deve essere letta dalla memoria HBM della GPU a ogni passaggio. Con contesti lunghi, quindi, la decodifica è limitata dalla banda della memoria anziché dalla capacità di calcolo.

Per un modello di medie dimensioni con un contesto di 128K token, la sola cache KV può occupare decine di gigabyte. Raddoppiare il contesto non significa soltanto raddoppiare il lavoro: cambia quale risorsa si esaurisce per prima. È questo il problema concreto e meccanico che i modelli a spazio di stato sono stati progettati per aggirare: non che «i transformer sono lenti» in astratto, ma il costo quadratico del prefill insieme a una cache che cresce linearmente e richiede molta banda di memoria.

Dalle convoluzioni agli spazi di stato: S4

La storia dei modelli a spazio di stato (SSM) risale a HiPPO (Gu, Dao, Ermon, Rudra e Ré, NeurIPS 2020), un framework per comprimere in tempo reale la storia di un segnale continuo in un vettore di dimensione fissa, proiettandola su una base polinomiale. Il suo contributo era una matrice specifica, HiPPO-LegS, per aggiornare quella memoria compressa in modo da catturare dipendenze a lungo raggio senza i gradienti evanescenti che affliggono le RNN tradizionali.

Albert Gu, Karan Goel e Christopher Ré hanno sviluppato questa idea con S4 — «Modellare in modo efficiente sequenze lunghe con spazi di stato strutturati» (arXiv:2111.00396, ICLR 2022). S4 tratta una sequenza come la discretizzazione di un sistema dinamico lineare a tempo continuo, x′(t) = Ax(t) + Bu(t), y(t) = Cx(t) + Du(t), con A inizializzata a partire da HiPPO.

A renderlo praticabile è un’equivalenza matematica: un SSM lineare tempo-invariante (LTI) discretizzato equivale a una convoluzione globale. Poiché A, B e C restano fissi a ogni passaggio temporale, l’intera sequenza di output si può calcolare come un’unica lunga convoluzione applicata tramite FFT, in O(n log n) anziché O(n²).

S4 ha riportato risultati allo stato dell’arte in tutti i compiti del benchmark Long Range Arena, un’accuratezza del 91% su CIFAR-10 sequenziale senza data augmentation e una generazione circa 60 volte più veloce rispetto a modelli autoregressivi comparabili. Gli SSM non erano una curiosità teorica: potevano superare i transformer in compiti progettati per valutare il ragionamento a lungo raggio, con costi inferiori.

Ma la natura LTI è anche il limite di S4. Poiché A, B e C non cambiano in funzione dell’input, il modello applica le stesse dinamiche a ogni sequenza, indipendentemente dal contenuto: può attribuire pesi diversi ai token recenti e a quelli lontani, ma non può decidere, token per token, «questo conta, dimentica il resto». È una capacità basata sul contenuto che i transformer ottengono direttamente dai prodotti scalari tra query e key e che a S4 manca.

Il meccanismo di selezione: perché Mamba funziona

Mamba (Gu e Dao, «Modellazione di sequenze in tempo lineare con spazi di stato selettivi», arXiv:2312.00752, 2023) colma questa lacuna rendendo i parametri dell’SSM dipendenti dall’input. Anziché usare A, B e C fissi, Mamba calcola il passo di discretizzazione Δ, la matrice di input B e la matrice di output C come funzioni del token corrente, tramite proiezioni lineari apprese.

È questo il «meccanismo di selezione»: a ogni passaggio temporale, il modello può modulare quanto del token in ingresso viene scritto nello stato ricorrente e quanto dello stato viene letto in uscita, in base al contenuto e non soltanto alla posizione. In concreto, un Δ grande permette al modello di azzerare lo stato e concentrarsi sull’input corrente, comportandosi più come se ignorasse la storia precedente, mentre un Δ piccolo conserva lo stato preesistente. E poiché Δ, B e C sono ora funzioni di x_t, il modello impara quando fare l’una o l’altra cosa.

Il costo della selettività è che il modello non è più tempo-invariante e perde quindi l’espediente della convoluzione che rendeva veloce S4. Un’implementazione ingenua esegue la ricorrenza un passaggio alla volta, il che è lento sulle GPU e richiede molta memoria se il tensore espanso (batch, lunghezza, dimensione nascosta, dimensione dello stato) viene materializzato nella memoria HBM.

Il secondo contributo di Mamba è un algoritmo progettato tenendo conto dell’hardware, che lo rende praticabile: una scansione associativa parallela ripristina il parallelismo lungo la dimensione della sequenza nonostante la ricorrenza, mentre kernel fusi calcolano il grande tensore dello stato intermedio nella memoria SRAM sul chip anziché scriverlo nella memoria HBM, ricalcolando le attivazioni durante la retropropagazione invece di memorizzarle.

Il risultato è un modello senza attenzione né blocchi MLP che scala linearmente con la lunghezza della sequenza, offre, secondo quanto riportato, un throughput in inferenza circa 5 volte superiore rispetto a transformer di dimensioni simili e, nelle valutazioni dello studio originale, raggiunge o supera la qualità dei transformer fino a qualche miliardo di parametri.

Mamba-2 e la dualità degli spazi di stato strutturati

Mamba-2 (Dao e Gu, «Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality», arXiv:2405.21060, ICML 2024) non si limita a perfezionare l’ingegneria di Mamba: stabilisce un’equivalenza formale tra una classe ristretta di SSM e l’attenzione. Lo studio mostra che, quando la matrice di transizione dello stato è vincolata a essere uno scalare moltiplicato per la matrice identità, anziché una generica matrice diagonale, l’SSM risultante esegue matematicamente lo stesso calcolo dell’attenzione lineare mascherata con una specifica maschera causale 1-semiseparabile.

Questa equivalenza, detta dualità degli spazi di stato strutturati (SSD), significa che la stessa trasformazione di una sequenza può essere realizzata in due modi: con una scansione ricorrente di complessità lineare O(n), oppure con una forma simile all’attenzione basata su moltiplicazioni di matrici, di complessità O(n²).

Il vantaggio pratico riguarda sia l’architettura sia i sistemi. Poiché la forma quadratica si riconduce a moltiplicazioni di matrici a blocchi, il livello centrale di Mamba-2 può sfruttare i tensor core come fa l’attenzione dei transformer, invece di dipendere soltanto dalla scansione sequenziale. Lo studio riporta che il livello basato su SSD è 2–8x più veloce della scansione selettiva di Mamba-1, pur restando competitivo con i transformer nella modellazione del linguaggio. SSD porta inoltre nel mondo degli SSM tecniche di addestramento dei transformer — parallelismo dei tensori, parallelismo delle sequenze e gestione di sequenze di lunghezza variabile — riducendo il divario infrastrutturale che rendeva più facile addestrare i transformer su larga scala.

Mamba-3: stati complessi e MIMO

L’evoluzione non si è fermata a SSD. Mamba-3 (Lahoti, Li, Chen, Wang, Bick, Kolter, Dao e Gu, arXiv:2603.15569, presentato il 16 marzo 2026) è concepito secondo quella che gli autori chiamano una prospettiva incentrata anzitutto sull’inferenza e punta a migliorare due aspetti che i modelli lineari avevano sacrificato: il tracciamento dello stato e l’efficienza hardware, anziché quella soltanto teorica.

Lo studio introduce tre cambiamenti. Una ricorrenza più espressiva, derivata dalla discretizzazione dell’SSM stesso, sostituisce quella di Mamba-2; una regola di aggiornamento dello stato a valori complessi consente un tracciamento dello stato più ricco di quello esprimibile con valori reali; e una formulazione a ingressi e uscite multipli amplia i percorsi di lettura e scrittura dello stato senza aumentare la latenza della decodifica.

Alla scala di 1,5B, Mamba-3 migliora l’accuratezza media nei compiti downstream di 0,6 punti percentuali rispetto al migliore tra gli altri modelli lineari, Gated DeltaNet. La variante MIMO aggiunge altri 1,2 punti, per un totale di 1,8 punti. Negli esperimenti su diverse dimensioni dello stato, raggiunge la stessa perplessità di Mamba-2 usando uno stato grande la metà: è il dato che conta per l’impiego pratico, perché la dimensione dello stato è la risorsa che un modello lineare usa al posto di una cache KV.

Modelli ibridi: reintrodurre l’attenzione

Se gli SSM selettivi sono così efficienti, perché non puntare esclusivamente su di loro ed eliminare del tutto l’attenzione? In pratica, i sistemi più efficaci già distribuiti combinano le due soluzioni. Quella che nel 2024 sembrava la convergenza di due iniziative indipendenti sulla stessa risposta è oggi la formula prevalente in una dozzina di modelli disponibili.

Jamba di AI21 è stato il primo a essere distribuito su larga scala: un modello ibrido Transformer-Mamba mixture-of-experts che alterna blocchi di attenzione transformer e blocchi di livelli Mamba in un rapporto di circa 1:7, aggiungendo livelli feed-forward MoE ogni due blocchi circa per aumentare la capacità senza accrescere in proporzione il calcolo attivo. Jamba 1.5 è stato distribuito nel 2024 in due dimensioni, Large con 94B parametri attivi e Mini con 12B, entrambi con una lunghezza effettiva del contesto di 256K token.

La logica del progetto è esplicita: gran parte dell’elaborazione delle sequenze è affidata ai livelli Mamba, economici e dal costo lineare, mentre pochi livelli di attenzione completa distribuiti nel modello preservano le capacità in cui gli SSM puri sono deboli (ne parleremo più avanti). La cache KV resta così piccola rispetto a quella di un modello basato interamente sull’attenzione con la stessa lunghezza del contesto.

Griffin di Google DeepMind (De et al., arXiv:2402.19427, 2024) arriva a una soluzione strutturalmente simile partendo da una direzione diversa. Hawk, il modello affine interamente ricorrente, usa un livello ricorrente lineare con gating chiamato RG-LRU e, secondo quanto riportato, ha superato Mamba nelle prestazioni nei compiti downstream; Griffin alterna blocchi RG-LRU e attenzione locale a finestra mobile, anziché attenzione globale completa.

Lo studio riporta che Griffin raggiunge le prestazioni di Llama-2 pur essendo addestrato su un numero di token oltre 6x inferiore, si estende a sequenze molto più lunghe di quelle viste durante l’addestramento ed è stato portato fino a 14B parametri. Durante l’inferenza, inoltre, ottiene una latenza nettamente inferiore e un throughput superiore a quelli di un transformer comparabile, eguagliando nel contempo l’efficienza hardware dei transformer durante l’addestramento.

Entro il 2026, questo schema è ovunque tra i modelli a pesi aperti, anche se il modulo lineare varia da un produttore all’altro. La serie Nemotron 3 di NVIDIA usa Mamba-2 in un modello ibrido mixture-of-experts: Nemotron 3 Super ha 120B parametri, di cui circa 12B attivi, è stato preaddestrato su 25 bilioni di token con un contesto di 1M token ed è progettato per il ragionamento agentico. Granite 4.0 di IBM, rilasciato il 2 ottobre 2025, dispone blocchi Mamba-2 e transformer in sequenza con un rapporto di 9:1 in tre modelli ibridi da 3B a 32B, affiancati da un modello transformer convenzionale da 3B. Qwen3-Next 80B-A3B e Qwen3.5 usano invece un rapporto di 3:1 tra Gated DeltaNet e attenzione con gating, anziché Mamba.

I rapporti cambiano, così come il componente lineare, ma la conclusione no: una piccola minoranza di livelli di attenzione e una grande maggioranza di livelli dal costo lineare.

RWKV: un’altra linea evolutiva

RWKV (Peng et al., «RWKV: Reinventing RNNs for the Transformer Era», arXiv:2305.13048, 2023) arriva a una destinazione simile — la modellazione di sequenze a costo lineare — seguendo una linea evolutiva che affonda le radici nell’attenzione lineare e nelle RNN, anziché negli spazi di stato a tempo continuo. I suoi blocchi fondamentali comprendono sottoblocchi di mixing temporale e dei canali, costruiti attorno a quattro componenti che interagiscono tra loro, fra cui un gate di «receptance» (R), che regola quanta informazione del passato viene trasmessa, e un peso posizionale addestrabile che decade nel tempo (W).

L’architettura è formulata in modo da poter essere addestrata in parallelo, come un transformer, ma eseguita durante l’inferenza come una normale RNN. L’inferenza richiede quindi una quantità costante di memoria e di calcolo per token, invece di una cache KV che cresce. RWKV ha continuato a evolversi attraverso RWKV-5, -6 e -7, adottando progressivamente transizioni di stato più espressive, rappresentate da matrici: un’evoluzione convergente, da un diverso punto di partenza teorico, verso la direzione indicata da SSD.

Dove gli SSM restano indietro: copia e recupero delle informazioni

Il vantaggio ha un costo, che è stato caratterizzato con precisione e non soltanto attraverso osservazioni aneddotiche. Jelassi et al., «Repeat After Me: Transformers are Better than State Space Models at Copying» (ICML 2024, arXiv:2402.01032), dimostrano che un transformer a due livelli può copiare stringhe di input di lunghezza esponenziale, mentre i modelli ricorrenti a stato fisso sono limitati dal loro stato latente di capacità finita. A differenza di una cache KV, che cresce con il contesto e consente al modello di ritrovare esattamente qualsiasi token precedente, il vettore di stato di un SSM ha una capacità fissa e deve riassumere una storia di lunghezza arbitraria attraverso una compressione con perdita di informazioni.

Nelle prove empiriche, un modello Mamba non è riuscito ad apprendere un compito sintetico di copia che un transformer di dimensioni simili ha appreso rapidamente, e ha avuto bisogno di circa 100 volte più dati di addestramento per colmare il divario. Esaminando modelli preaddestrati, gli autori hanno riscontrato che i transformer superano «nettamente» gli SSM nella copia e nel recupero di informazioni specifiche dal contesto.

Il risultato spiega l’intera tendenza verso le architetture ibride. Il recupero preciso di informazioni dal contesto — citare un passaggio parola per parola, ritrovare un fatto specifico inserito in precedenza in un prompt lungo, seguire un riferimento esatto — è proprio il tipo di compito in cui uno stato ricorrente di dimensioni fisse è svantaggiato, sul piano della teoria dell’informazione, rispetto a un meccanismo di attenzione con una cache che cresce senza sosta e consente di accedere esattamente a ciascun elemento. I livelli di attenzione sparsi di Jamba e i blocchi di attenzione locale di Griffin non sono dettagli cosmetici: sono interventi mirati sull’unica categoria di compiti in cui gli SSM puri hanno una debolezza dimostrata e dimostrabile.

Il calcolo pratico

Il quadro che ne risulta è più sfumato di «lineare batte quadratico». Gli SSM puri (S4, Mamba, RWKV) prevalgono nettamente per capacità di elaborazione grezza su contesti lunghi, ingombro di memoria e inferenza in streaming; inoltre, la riformulazione SSD di Mamba-2 mostra che algoritmi migliori possono ridurre ulteriormente anche il divario di efficienza rispetto ai kernel di scansione ottimizzati a mano. Resta però una debolezza strutturale nella copia e nel recupero esatti, che aumenta con la lunghezza del contesto anziché attenuarsi con un addestramento migliore.

I transformer presentano il profilo opposto: sono costosi e richiedono molta memoria con contesti lunghi, ma grazie all’attenzione possono accedere esattamente a qualsiasi token precedente. Le architetture ibride non sono più una soluzione prudenziale, ma la scelta predefinita, da Nemotron 3 e Granite 4.0 a Qwen3-Next: mantenere lineare il costo della maggior parte del calcolo e riservare una piccola quota di attenzione completa o locale proprio ai casi in cui conta ritrovare con esattezza informazioni nel contesto.

Resta aperta la questione se un’architettura unica possa colmare il divario nella copia senza reintrodurre un costo quadratico, ma è meno aperta di prima. L’aggiornamento dello stato a valori complessi di Mamba-3 è stato concepito proprio per il tracciamento dello stato, e il fatto che raggiunga la stessa perplexity di Mamba-2 con uno stato di dimensioni dimezzate suggerisce che il limite imposto da uno stato di capacità finita sia meno rigido di quanto lasciassero intendere i risultati del 2024. Nulla di tutto questo invalida il limite dimostrato da Jelassi, che riguarda la capacità, non l’ingegnerizzazione. La lettura realistica è che, in un’architettura ibrida, la quota di attenzione continui a ridursi senza però arrivare a zero.