La tassa della memoria: analisi del valore netto della memoria degli agenti

Abstract degli autori

La memoria è sempre più usata negli agenti che operano su orizzonti temporali lunghi, ma resta in gran parte poco chiaro quale sia il suo valore netto rispetto al recupero diretto delle informazioni dalla cronologia grezza. Attraverso un’ampia valutazione condotta su diversi benchmark e modelli di base, scopriamo che in molti casi numerosi sistemi di memoria dedicati ottengono risultati peggiori di un semplice RAG, indicando un valore netto negativo. Prendendo RAG come riferimento, scomponiamo il valore netto della memoria nei guadagni e nelle perdite rispetto al recupero diretto, che chiamiamo «beneficio della memoria» e «tassa della memoria». Questi guadagni e queste perdite derivano dal fatto che il processo di costruzione della memoria cambia il modo in cui le informazioni grezze sono organizzate e accessibili. Consideriamo tali cambiamenti deviazioni dalla cronologia grezza che possono avere effetti sia positivi sia negativi. Sono stati concepiti e introdotti per agevolare il compito, per esempio riorganizzando i fatti o distillando le preferenze, ma alcuni possono anche eliminare o rendere meno accessibili le informazioni probanti, dando origine alla tassa della memoria. Poiché il beneficio della memoria riflette i guadagni attesi dalla sua progettazione, ci concentriamo maggiormente sulla tassa della memoria, finora trascurata: studiamo come nasca sia dal sistema sia dalla valutazione ed estendiamo il concetto ad altri scenari d’uso della memoria. Ci auguriamo che il concetto di tassa della memoria offra una nuova prospettiva e sposti maggiormente l’attenzione dalle prestazioni considerate isolatamente al valore netto della memoria, contribuendo a progettare e valutare sistemi di memoria più affidabili. Metteremo a disposizione della comunità il codice e i risultati in modalità open source. Pagina del progetto: https://hexuan21.github.io/MemoryTax/