La storia si ripete: liberare la capacità di gestire contesti lunghi nell’attenzione lineare

Abstract degli autori

L’attenzione lineare promette l’efficienza necessaria per la modellazione linguistica su contesti lunghi, ma il suo stato ricorrente di dimensione fissa deve al tempo stesso sostenere l’elaborazione in corso e conservare informazioni provenienti da una storia sempre più estesa. Questo duplice compito ha rafforzato l’opinione prevalente secondo cui la capacità di memoria dello stato determina la capacità del modello di gestire contesti lunghi. Mettiamo in discussione questo presunto limite: \emph{l’elaborazione ricorrente non deve necessariamente farsi carico di tutta l’archiviazione a lungo termine}. Presentiamo NoteBank, una memoria episodica sparsa che archivia porzioni di testo selezionate prima che siano note le richieste future, usa le rappresentazioni native del backbone per scrivere e indirizzare la memoria e legge le informazioni recuperate mediante replay, attraverso l’elaborazione forward nativa del backbone. Questa interfaccia \emph{senza addestramento e plug-and-play} non richiede un modello di embedding esterno, un retriever addestrato separatamente né un lettore neurale separato. Con un milione di token, porta l’accuratezza media di Gated DeltaNet in sei compiti di retrieval di RULER dall’1,7% al 70,3%, senza alcun degrado significativo osservato nel retrieval passando da 4K a 1M token. Il recupero di queste prestazioni aggiunge $\leqslant$0,025% al conteggio analitico dei FLOP, con uno spazio di archiviazione persistente del contesto pari a circa 1/2.600 di quello della cache KV MHA completa di un Transformer a parità di larghezza, profondità e precisione. Gli esperimenti spaziano da tre backbone ricorrenti da 1,3 miliardi di parametri a Mamba-2-8B e Qwen3.5-9B dopo il post-training, mostrando miglioramenti su LongBench v1/v2 e MemoryAgentBench. Nel complesso, questi risultati mostrano che l’archiviazione sparsa delle informazioni rilevanti e il replay nativo possono ampliare notevolmente la capacità dei modelli di attenzione lineare preaddestrati di gestire contesti lunghi, mantenendo l’efficienza dell’elaborazione ricorrente.