Deep Fusion Memory: una memoria parametrica a livello di chunk per i modelli linguistici di grandi dimensioni

Abstract degli autori

I modelli linguistici di grandi dimensioni hanno bisogno di metodi efficaci per acquisire e usare conoscenze esterne, oltre a quelle che conservano dal preaddestramento. Proseguire il preaddestramento comporta il rischio di dimenticanza catastrofica, mentre il recupero di informazioni in fase di inferenza può aggiungere un notevole carico computazionale. La memoria parametrica esterna evita il recupero online, ma la costruzione dei dati per addestrarla richiede un’estesa ricerca offline e l’interpolazione a livello di output consente solo una fusione superficiale. Presentiamo Deep Fusion Memory (DFM), un’architettura di memoria parametrica che riduce il lavoro necessario per costruire questi dati e integra la memoria appresa negli stati nascosti intermedi. Un predittore causale impara a generare la memoria dal contesto precedente, usando come supervisione gli embedding dei chunk recuperati dal corpus. La memoria prevista è condivisa tra i token di ciascun chunk e integrata nei loro stati nascosti mediante cross-attention con gating. La previsione e la fusione della memoria vengono addestrate end-to-end mantenendo congelato il backbone; l’inferenza non richiede alcun recupero esplicito. Rispetto agli approcci esistenti alla memoria parametrica, che spesso costruiscono obiettivi di memoria a livello di token, DFM richiede $32\times$ volte meno query di recupero e $2048\times$ volte meno elementi recuperati per costruire i dati di addestramento. In sei task di domanda-risposta, DFM supera il baseline più forte del 12,71% su Mistral-7B-v0.3 e dell’11,19% su Qwen3-8B-Base. Oltre ai task di domanda-risposta, l’adattamento al dominio produce miglioramenti medi rispettivamente di 6,51 e 4,38 punti rispetto a Qwen3-4B-Base e Qwen3-8B-Base.