MemT-1.0: verso un’evoluzione con memoria nativa

Abstract degli autori

L’evoluzione con memoria nativa richiede che la memoria diventi una capacità intrinseca dei modelli fondazionali, consentendo loro di accumulare e utilizzare informazioni in modo continuo. A questo scopo, presentiamo MemT-1.0, una nuova architettura di modelli fondazionali che integra la memoria nel calcolo del modello. Basato su Metis, MemT-1.0 impiega Gated DeltaNet-2 con un meccanismo stabile di aggiornamento della memoria a livello di token all’interno di ogni turno. Introduciamo inoltre Mixture-of-Storage per ampliare la capacità della memoria nativa. Dopo una preparazione mirata del backbone, sviluppiamo un processo di addestramento in due fasi, composto da pre-addestramento continuato e post-addestramento, supportato da 34 miliardi di token di dati di addestramento e da un’infrastruttura efficiente per l’addestramento e l’inferenza. Rendiamo disponibile una famiglia di modelli che comprende MemT-1.0-Nano e MemT-1.0-Flash e conduciamo una valutazione completa delle capacità di memoria e delle capacità generali. I risultati mostrano che, in media, superano i metodi di riferimento basati sulla memoria parametrica e restano competitivi rispetto ai metodi potenziati dal recupero delle informazioni, preservando in larga misura le capacità generali. Con una cronologia di 128K token, MemT-1.0-Nano ottiene un’accelerazione dell’inferenza end-to-end di circa $1.86\times$ e una riduzione dello spazio di archiviazione persistente pari a $66\times$ rispetto alla cache KV dell’intero contesto. Interiorizzando l’esperienza procedurale recuperata, MemT-1.0 migliora il tasso di successo nei compiti agentici, compiendo un passo concreto verso un’evoluzione con memoria nativa.