Più memoria, agenti peggiori: riproduzione degli errori e Anti-Persistence negli agenti LLM

Abstract degli autori

Gli agenti LLM possono migliorare nello svolgimento di diversi compiti senza aggiornare i parametri del modello: memorizzano in una memoria esterna le esperienze ricavate dalle proprie esecuzioni e le riutilizzano per orientare le decisioni successive. Una questione centrale nella progettazione della memoria è se conservare soltanto le traiettorie osservate e i loro esiti oppure anche le regole, le sintesi e le competenze inferite da essi. Conservare queste astrazioni permette agli agenti di riutilizzare le strategie senza doverle ricavare ogni volta dalle traiettorie grezze. Tuttavia, gli errori nelle astrazioni memorizzate possono propagarsi alle decisioni successive attraverso il recupero e il riutilizzo. Possono anche influenzare le traiettorie di esecuzione, che diventano poi la base per nuove astrazioni capaci di riprodurre gli errori originari. Chiamiamo questo meccanismo di feedback «riproduzione degli errori»: gli errori si rigenerano in un ciclo di astrazione, esecuzione e nuova astrazione, prolungando la loro persistenza oltre il riutilizzo diretto delle conoscenze errate originarie. Proponiamo Anti-Persistence, un’architettura di memoria che accumula traiettorie ed esiti, ricostruendo all’occorrenza indicazioni specifiche per il compito. Un selettore adattivo usa gli esiti precedenti per decidere se e come sintetizzare queste indicazioni, che vengono scartate dopo l’esecuzione. Ciò ne impedisce il riutilizzo diretto come elementi memorizzati, anche se resta possibile un feedback indiretto attraverso le traiettorie conservate. Su diversi benchmark e modelli di base, Anti-Persistence ottiene un tasso di successo complessivo più alto sui casi tenuti da parte e il costo medio più basso delle chiamate agli LLM tra le architetture di memoria valutate. Questi risultati indicano l’utilità di separare l’accumulo di esperienze dalla persistenza delle astrazioni nell’auto-miglioramento basato sulla memoria.