Ricordare ha un prezzo: imparare il valore dei ricordi con risorse limitate

Abstract degli autori

Gli agenti ad apprendimento permanente accumulano e riutilizzano continuamente esperienze per migliorare dopo la distribuzione, ma nella pratica operano spesso con budget limitati per generazione, interazione e memoria. In presenza di vincoli congiunti così stringenti, osserviamo che i metodi esistenti per la memoria a lungo termine possono diventare inefficaci: diversi approcci sofisticati offrono scarsi vantaggi rispetto al semplice recupero dei ricordi o persino agli agenti privi di memoria. Questo rivela un problema più fondamentale: la scarsità di risorse rende più importante ogni decisione relativa alla memoria. Quando si può conservare o riutilizzare solo una piccola parte dell’esperienza passata e le possibilità di ragionare e rimediare agli errori sono limitate, recuperare un ricordo pertinente ma inefficace può consumare il poco spazio disponibile nel contesto e ostacolare l’esecuzione successiva. La sfida principale, quindi, non è semplicemente recuperare esperienze pertinenti, ma stabilire quali valga davvero la pena conservare e riutilizzare. Per affrontarla, proponiamo TokenWorth, un framework leggero per la memoria online che apprende il valore dei ricordi in funzione della query a partire da feedback sporadico sull’esecuzione e applica tale valore in modo coerente al recupero dei ricordi e alla gestione della memoria entro limiti prestabiliti. In tre ambienti di LifelongAgentBench e in implementazioni sia locali sia basate su API, TokenWorth ottiene il più alto tasso di successo nei compiti usando il minor numero di token in output tra i metodi valutati. Questi risultati suggeriscono che un adattamento efficace e permanente con risorse limitate dipende non dal ricordare di più, ma dall’imparare che cosa vale la pena ricordare. Il nostro codice è disponibile pubblicamente all’indirizzo https://github.com/AIGNLAI/TokenWorth.