EngramEdit: aggiornamenti disaccoppiati delle conoscenze negli LLM tramite memoria condizionale

Abstract degli autori

Le architetture di memoria condizionale come DeepSeek Engram usano gli n-grammi dell’input per recuperare embedding appresi, aumentando la capacità dei modelli linguistici di grandi dimensioni (LLM) con un incremento limitato dei calcoli. Oltre a consentire l’aumento della scala dei modelli, questa architettura ha dimostrato di poter separare la memorizzazione delle conoscenze fattuali dall’elaborazione di carattere generale, offrendo una strada promettente per aggiornare tali conoscenze mantenendo fisso il backbone Transformer. Sfruttare questo potenziale è difficile: formulazioni diverse di uno stesso fatto possono attivare embedding di n-grammi diversi, mentre l’aggiornamento degli embedding condivisi può modificare involontariamente le previsioni del modello su altri fatti. Proponiamo EngramEdit per aggiornare le conoscenze in modo disaccoppiato tramite la memoria condizionale. EngramEdit calcola innanzitutto rappresentazioni di memoria obiettivo che portano il modello a prevedere il fatto aggiornato a partire da più formulazioni. Aggiorna poi congiuntamente gli embedding condivisi degli n-grammi affinché corrispondano a questi obiettivi per diverse formulazioni e modifiche, penalizzando maggiormente gli aggiornamenti degli embedding riutilizzati di frequente per preservare le conoscenze non correlate. Gli esperimenti mostrano che EngramEdit consente di aggiornare in modo indipendente le conoscenze fattuali tramite la memoria condizionale, ottenendo un successo quasi perfetto nelle modifiche. Le conoscenze aggiornate sono utilizzabili con formulazioni mai viste e nel ragionamento a più passaggi, con un’accuratezza quasi tripla rispetto a quella della migliore baseline quando si usano prompt chain-of-thought (CoT). Le conoscenze non correlate e le capacità generali restano in gran parte preservate anche con l’accumularsi degli aggiornamenti fattuali. Questi risultati mostrano che EngramEdit trasforma la memoria condizionale in un’interfaccia per modificare le conoscenze, estendendone il ruolo oltre l’aumento della scala dei modelli per supportare aggiornamenti disaccoppiati delle conoscenze.