The Pulse
Un team legato a Fudan segnala un’estrapolazione del contesto di 16×
Secondo un preprint, un metodo di attenzione ibrida ha raggiunto un’accuratezza del 100% in un test di recupero di informazioni a 64.000 token, dopo un addestramento su contesti di 4.000 token. I risultati ottenuti in altre due varianti del
AI.info Team · Scritto con l’IA ·
64.000 token, 16 volte il contesto di addestramento di 4.000 token: è la lunghezza alla quale un gruppo di ricerca affiliato alla Fudan University afferma che il suo metodo di attenzione riesce ancora a ottenere il 100% in un test di recupero di un’informazione specifica, senza ulteriore addestramento. Il risultato proviene da un nuovo preprint sui modelli linguistici ibridi, non da una dimostrazione generale che i modelli possano usare in modo affidabile qualsiasi informazione inserita in un prompt molto più lungo.
Il paper, presentato ad arXiv il 7 ottobre 2026, propone Sliding-Window Linear Attention (SWLA) ed esamina come diversi meccanismi di attenzione influiscano sulle prestazioni con contesti lunghi. Gli autori sono Xiaoran Liu, Ziwei He e Xipeng Qiu, tra le cui affiliazioni indicate figurano Fudan University, Shanghai Innovation Institute e OpenMOSS Team. Il preprint è contrassegnato come in fase di revisione.
Come SWLA estende una finestra di 4.000 token
Gli autori distinguono tra l’estensione del contesto, che comporta la prosecuzione dell’addestramento su sequenze più lunghe, e l’estrapolazione della lunghezza: l’uso di un modello oltre il contesto su cui è stato addestrato, senza ulteriore addestramento. I loro esperimenti includono modelli preaddestrati su 4.000 token e ne valutano le prestazioni fino a 64.000 token. Per il risultato di 16×, il paper combina SWLA con un adattamento su scala logaritmica dell’attenzione NoPE del modello, ossia priva di embedding posizionali.
SWLA limita la portata dei segnali legati alla posizione nell’attenzione lineare applicando una finestra scorrevole. Il paper descrive un’implementazione con una finestra di 4.096 token e un passo di 1.024 token. Nell’architettura ibrida, questa attenzione a finestra opera insieme all’attenzione NoPE, che mantiene una visione globale della sequenza; l’adattamento su scala logaritmica rafforza tale componente globale durante l’estrapolazione.
Gli autori scrivono:
«Per i modelli ibridi LA, riassumiamo l’effetto Matteo dell’estrapolazione posizionale nei modelli ibridi e proponiamo Sliding-Window Linear Attention, ottenendo un’estrapolazione della lunghezza di 16× senza ulteriore addestramento e mantenendo un’accuratezza del 100% su NIAH-SK1 con un contesto di 64k token.»
Xiaoran Liu, Ziwei He e Xipeng Qiu, autori del paper
Il punteggio del 100% ha una portata limitata
NIAH-SK1 è una variante di un test di recupero di «un ago in un pagliaio»: il modello deve individuare un’informazione specifica all’interno di un contesto più lungo. Il paper riporta anche i risultati di altre due varianti, SK2 e SK3, per le quali il risultato non si ripete in modo uniforme. In una configurazione GLA con 776 milioni di parametri, preaddestrata su contesti brevi e dotata di SWLA e dell’adattamento logaritmico, la tabella registra il 100% su SK1 a 64.000 token, ma il 59% su SK2 e il 64% su SK3.
La differenza conta. Un punteggio perfetto in un singolo test di recupero non dimostra che il metodo preservi le capacità generali di ragionamento, sintesi o uso delle informazioni in documenti lunghi. I numeri riportati dal paper sono risultati di benchmark ottenuti con specifiche configurazioni di modelli ibridi, non una garanzia per modelli arbitrari o prompt reali.
L’attenzione ibrida comporta un compromesso
Lo studio più ampio confronta l’attenzione a finestra scorrevole con varianti dell’attenzione lineare con meccanismi di gating, tra cui GLA e GDN, su modelli di diverse dimensioni. Gli autori rilevano che i metodi presentano punti di forza diversi: i modelli ibridi con finestra scorrevole possono estrapolare meglio oltre la lunghezza usata nell’addestramento, mentre quelli con attenzione lineare traggono maggiori benefici dalla prosecuzione del preaddestramento su contesti più lunghi. Definiscono questo fenomeno «effetto altalena» e riferiscono che modificare le dimensioni della finestra e l’impostazione dell’addestramento può migliorare l’estensione del contesto nei modelli ibridi con finestra scorrevole.
Gli esperimenti comprendono modelli con 376 milioni, 776 milioni e 1 miliardo di parametri; gli autori riferiscono inoltre di aver convalidato le conclusioni principali con un modello da 3 miliardi di parametri. Questa varietà aggiunge elementi a sostegno dei confronti tra architetture condotti nel paper, ma non rende il risultato di 16× un punteggio universale: le prestazioni dipendono dalla configurazione dell’attenzione, dalle dimensioni del modello e dal compito.
Restano da valutare il ragionamento e i test multimodali
Gli autori affermano che la loro validazione si concentra sull’estensione del contesto e sull’estrapolazione della lunghezza durante il preaddestramento. Indicano il post-addestramento, i modelli multimodali, il ragionamento complesso e i compiti agentici come ambiti che richiedono ulteriori valutazioni. Questi limiti lasciano aperte questioni pratiche su quanto SWLA sia trasferibile alle applicazioni comuni che richiedono più della semplice individuazione di un’informazione inserita appositamente.
Per ora, l’affermazione più chiara del paper è circoscritta: un modello ibrido che usa SWLA e un adattamento su scala logaritmica raggiunge un contesto di 64.000 token dopo essere stato addestrato su 4.000 token e registra un’accuratezza perfetta su NIAH-SK1. I punteggi inferiori nelle altre varianti del test mostrano perché il dato principale debba essere accompagnato dal benchmark a cui si riferisce.