The Pulse
MemTensor presenta due modelli con memoria persistente
MemTensor ha presentato MemT-1.0-Nano e MemT-1.0-Flash, modelli progettati per mantenere uno stato di memoria di dimensione fissa tra una conversazione e l’altra. L’azienda segnala un minore fabbisogno di spazio di archiviazione per le cron
AI.info Team · Scritto con l’IA · verificato ·
Il 20 ottobre MemTensor ha presentato due modelli progettati per portare uno stato di memoria di dimensione fissa da un’interazione alla successiva, anziché fornire ripetutamente al modello la trascrizione sempre più lunga della conversazione. La versione, chiamata MemT-1.0, comprende Nano e Flash; il rapporto tecnico del team è apparso su arXiv il giorno prima.
«Interiorizzando l’esperienza procedurale recuperata, MemT-1.0 migliora la riuscita dei compiti svolti da agenti, offrendo un passo concreto verso un’evoluzione in cui la memoria è nativa», scrivono gli autori. Il rapporto descrive un approccio che integra gli aggiornamenti della memoria nel calcolo del modello e ne misura poi i compromessi rispetto ai sistemi a contesto completo e ad altri sistemi di memoria.
Una memoria che si aggiorna tra un turno e l’altro
MemT-1.0 aggiunge un Native Memory Block accanto al normale meccanismo di attenzione del modello. La sua memoria locale conserva informazioni che cambiano durante l’uso, mentre una «iper-memoria» addestrabile fornisce i meccanismi appresi per scriverle, dimenticarle e recuperarle. Un meccanismo Gated DeltaNet-2 aggiorna lo stato della memoria a livello di token, e un’architettura Mixture-of-Storage è pensata per ampliarne la capacità.
I modelli presentati hanno dimensioni e architetture di base differenti. Nano ha 36 miliardi di parametri totali, di cui 3 miliardi attivati, ed è basato su Qwen3.6-35B-A3B. Flash ha 288 miliardi di parametri totali, di cui 17 miliardi attivati, e usa DeepSeek-V4-Flash. MemTensor afferma di aver addestrato i modelli con un pre-addestramento continuato e una fase successiva di addestramento su 34 miliardi di token.
Per una data configurazione, lo stato di memoria ha una dimensione limitata: non cresce insieme alla cronologia della conversazione. Nell’esempio dell’azienda, un utente può salvare nella memoria i turni precedenti, cancellare la conversazione in testo semplice e riprenderla in seguito da uno stato salvato. I modelli sono disponibili su Hugging Face; il repository GitHub del progetto include il codice e le istruzioni per servire i modelli.
I dati sull’efficienza con 128K token
MemTensor riferisce che, con una cronologia di 128.000 token, Nano ha usato circa 66 volte meno spazio di archiviazione persistente rispetto a una cache KV a contesto completo e, in quel test, ha completato l’elaborazione dall’inizio alla fine circa 1,86 volte più velocemente. Le misurazioni dello studio mostrano che il vantaggio in termini di velocità varia con la lunghezza della cronologia: circa 1,20 volte con 64K token e 3,99 volte con 256K. Con cronologie più brevi, Nano era più lento; secondo gli autori, con 32K token raggiungeva all’incirca le prestazioni del contesto completo.
Il confronto si basa sui test del team con due GPU e una sola richiesta, con una dimensione del batch pari a uno. Il tempo complessivo riportato comprende la preparazione della cronologia e la generazione di una risposta di 128 token. Secondo i ricercatori, il vantaggio con le cronologie più lunghe deriva soprattutto dall’elaborazione incrementale della cronologia, seguita dall’interrogazione di uno stato di dimensione fissa anziché dall’applicazione dell’attenzione a tutti i token precedenti.
I progressi nei benchmark comportano un compromesso sulla memoria
Su 11 benchmark per la memoria, il rapporto attribuisce a Flash un punteggio medio di 50,6 e a Nano di 47,0, collocandoli rispettivamente al primo e al secondo posto tra i metodi di memoria parametrica valutati. Secondo gli autori, queste medie superano la baseline parametrica più forte rispettivamente di 12,5 e 8,9 punti. Il rapporto rileva però anche che i sistemi di memoria testuale più efficaci restano complessivamente in vantaggio, soprattutto con cronologie lunghe quando un compito richiede di recuperare elementi di prova dettagliati.
Per gli agenti di programmazione, il team ha testato Nano su SWE-bench Verified, una raccolta di 500 compiti software, e su SWE-bench Multilingual, che comprende 300 compiti in nove linguaggi di programmazione. In una configurazione attivata dall’harness, il tasso medio di riuscita di Nano su Verified è stato del 69,73%, contro il 66,07% della baseline senza esperienza; su Multilingual ha raggiunto il 63,56%, contro il 60,00%. Lo studio afferma che il sistema usa esperienza procedurale tratta da compiti precedenti, ma che tale esperienza viene costruita esternamente e che la sua qualità e il suo recupero influiscono sui risultati.
Licenze diverse per pesi e codice
Le licenze della versione non sono uniformi. Hugging Face indica che i pesi di Nano sono distribuiti con licenza Apache 2.0 e quelli di Flash con licenza MIT, mentre il repository afferma che il suo software originale, compresa l’integrazione con SGLang, usa la PolyForm Noncommercial License. Il repository precisa che tali condizioni non consentono l’uso commerciale di quel software; le architetture di base e i componenti di terze parti mantengono le rispettive licenze.
MemTensor riconosce anche un limite intrinseco della sua architettura: uno stato di dimensione fissa ha una capacità finita, quindi l’aggiunta di nuove informazioni può far perdere dettagli più vecchi. Questo compromesso pesa soprattutto quando occorre ricordare informazioni precise, proprio l’ambito in cui, secondo il rapporto, i sistemi basati sul testo conservano un vantaggio.