La memoria agentica complessa è sempre necessaria? Il RAG semplice è più efficace di quanto pensassimo

Abstract degli autori

La memoria degli LLM è ampiamente usata per comprendere conversazioni a lungo termine. I sistemi di memoria agentica ricorrono spesso a modifiche, organizzazione strutturale, strategie di recupero apprese o altre operazioni complesse. Questa complessità è sempre necessaria? Studiamo Raw-RAG, un semplice sistema RAG di riferimento che usa il recupero denso e il reranking sulla cronologia grezza per fornire evidenze a un LLM lettore. Su LoCoMo, LongMemEval, MEME e MemoryAgentBench, Raw-RAG si colloca al primo posto tra i sistemi di memoria confrontati in sei delle sette configurazioni benchmark-modello, superando il più efficace tra i sistemi di memoria agentica confrontati di 0,13-5,53 punti. Esaminiamo perché il recupero dalla cronologia grezza resti competitivo. L’analisi delle evidenze mostra che la sua maggiore copertura delle evidenze necessarie può compensarne il minore utilizzo. Le evidenze utili comprendono sia i valori delle risposte sia le relazioni e i percorsi di dipendenza necessari per ricavarli. Anche l’accesso completo agli archivi di memoria trasformati lascia un divario di accuratezza rispetto alle evidenze grezze, sottolineando l’importanza di preservare le informazioni grezze. Questi risultati mettono in discussione la necessità di una memoria agentica complessa per i compiti di comprensione delle conversazioni valutati e stabiliscono che il RAG semplice è un sistema di riferimento essenziale.