Di chi è la memoria? Regole di registrazione sensibili all’ambito per la memoria a lungo termine degli LLM

Abstract degli autori

La memoria persistente consente a un agente LLM di portare con sé l’esperienza da una conversazione all’altra, ma può anche rendere duraturo un errore di ragionamento circoscritto. Durante la riflessione, un agente può prendere in considerazione un piano, simulare il risultato di uno strumento o riferire la convinzione di un altro interlocutore, per poi scartare ciascuno di questi elementi. Se la memoria conserva soltanto le frasi che ne risultano, quelle possibilità, utili in quel momento, possono riemergere in seguito come fatti. Ciò che viene registrato non è né inventato né irrilevante: è stato semplicemente separato dal contesto in cui era valido. Chiamiamo questo contesto mancante \emph{titolarità discorsiva}: il mondo, il ramo o l’interlocutore che legittima una proposizione. La nostra prima constatazione è controintuitiva. I modelli linguistici possiedono già un segnale relativo alla titolarità che ha un ruolo causale, eppure le interfacce di memoria convenzionali lo scartano quando trasformano il ragionamento in informazioni registrate. Introduciamo CASK (Causally Anchored Scoping Keys), una regola di registrazione che preserva questo segnale, così che i fatti del mondo condiviso entrino nella memoria duratura mentre i contenuti provvisori restino disponibili solo nel loro ambito originario. La nostra seconda constatazione è che il modo più ovvio per preservare il segnale---memorizzare le coordinate interne individuate---è inaffidabile, perché rappresentazioni equivalenti non conservano necessariamente le stesse coordinate. CASK preserva invece le relazioni stabili che esprimono la titolarità. Conflitti controllati in conversazioni lunghe e tracce di agenti che usano strumenti mostrano che questo approccio migliora la selezione di ciò che entra in memoria e impedisce ai contenuti provvisori di contaminare le risposte successive, integrandosi al tempo stesso con la provenienza in fase di esecuzione. Il confine così stabilito per la registrazione consente agli agenti di esplorare più possibilità senza attribuire a ogni frase intermedia autorità sul comportamento futuro.