The Pulse
MemComposer migliora i risultati degli agenti usando meno token di memoria
MemComposer seleziona e ordina i ricordi recuperati per gli agenti di IA, migliorando il tasso di successo nei test in tre ambiti del servizio clienti e riducendo l’uso di token di memoria. Lo studio valuta il metodo con due agenti non modi
AI.info Team · Scritto con l’IA ·
Il recupero basato sulla similarità parte da una scommessa semplice: i ricordi più vicini a una nuova richiesta sono quelli che con maggiore probabilità saranno utili. Un articolo pubblicato su arXiv il 15 ottobre mette in discussione questa ipotesi, sostenendo che i risultati di un agente dipendono anche da quali ricordi riceve, da quanti ne riceve e dall’ordine in cui li vede. Il sistema dei ricercatori, MemComposer, ha migliorato il tasso di successo usando meno token di memoria per i due agenti testati.
Il lavoro è firmato da ricercatori della University of Illinois Urbana-Champaign e di Amazon. Invece di limitarsi a prendere i risultati di ricerca con il punteggio più alto, MemComposer compone una sequenza di ricordi recuperati specifica per ogni richiesta, imparando quali combinazioni funzionano grazie ai riscontri ottenuti da interazioni complete relative ai compiti.
Perché il ricordo più simile potrebbe non essere utile
Molti sistemi di memoria per agenti conservano esperienze passate, recuperano candidati per un nuovo compito e li aggiungono al contesto del modello. Secondo gli autori, la sola similarità può far perdere indicazioni utili: un’esperienza meno simile può contenere informazioni più importanti per il compito, mentre aggiungere altri ricordi non garantisce risultati migliori.
«Tuttavia, la sola similarità semantica non garantisce che un ricordo sia utile: le prestazioni successive dipendono da come i ricordi vengono selezionati e presentati all’agente».
Scrivono gli autori in “MemComposer”
MemComposer tratta la selezione dei ricordi come una decisione congiunta. Per ogni richiesta sceglie un numero variabile di candidati e ne stabilisce l’ordine; un sistema di recupero fisso basato sulla similarità continua a fornire l’insieme dei candidati. La distinzione è importante: il sistema impara a disporre il materiale recuperato, non a sostituire la fase di recupero sottostante.
Due agenti non modificati, tre ambiti del servizio clienti
Il gruppo ha testato il metodo su τ²-bench, un benchmark di compiti di servizio clienti articolati in più turni nei settori del commercio al dettaglio, delle compagnie aeree e delle telecomunicazioni. Gli agenti devono seguire le regole del settore, usare strumenti e interagire con un cliente simulato. Gli esperimenti hanno usato due esecutori non modificati, Qwen3-4B-Instruct e Ministral-3-8B-Instruct, e hanno fornito a ciascun metodo gli stessi dieci candidati recuperati.
Con Qwen3-4B-Instruct, MemComposer ha raggiunto un tasso medio di successo nei compiti del 50,8%, contro il 45,0% della migliore alternativa di riferimento; il suo punteggio di coerenza su quattro prove è stato del 32,5%, contro il 27,5%. Con Ministral-3-8B-Instruct ha registrato un tasso medio di successo del 63,5%, superiore di 4,6 punti percentuali alla migliore alternativa di riferimento, e un punteggio di coerenza del 40,0%. Il metodo ha ottenuto il risultato migliore, da solo o a pari merito, in 10 dei 12 confronti per ambito.
Questi miglioramenti sono stati accompagnati da un minor uso di token di memoria, non da una riduzione dimostrata di ogni tipo di costo di inferenza. Nei tre ambiti, MemComposer ha usato il 16,9% di token di memoria in meno rispetto alla migliore alternativa di riferimento con Qwen3 e il 4,9% in meno con Ministral. L’articolo riferisce che, considerando insieme i risultati, il miglioramento del tasso medio di successo era statisticamente significativo al livello del 95% rispetto a ciascuna alternativa di riferimento; per la misura di coerenza, il risultato non valeva rispetto a due alternative, Complexity e Memento.
Apprendere dalle interazioni completate
I ricercatori addestrano il composer con Experience Policy Optimization, o ExPO, un framework basato su Group Relative Policy Optimization. ExPO valuta le sequenze candidate di ricordi attraverso interazioni complete con un agente non modificato, poi usa il riscontro sul successo del compito per aggiornare la strategia di selezione. Una penalità per le selezioni più ampie scoraggia l’aggiunta di contesto non necessario, mentre un’altra penalità riguarda gli errori nel formato dell’output.
Nei contesti testati, il sistema ha mostrato anche capacità di trasferimento. Un composer addestrato su compiti del commercio al dettaglio ha ottenuto risultati competitivi quando è stato applicato, senza ulteriore addestramento, agli ambiti delle compagnie aeree e delle telecomunicazioni; un composer addestrato con Qwen3 si è trasferito a un esecutore Ministral. Questi test sostengono la possibilità che la strategia di selezione appresa funzioni anche al di fuori della configurazione originale, ma non ne dimostrano le prestazioni con agenti o archivi di memoria arbitrari.
Le prove restano limitate alle memorie procedurali
Lo studio valuta ricordi ricavati da sequenze complete di attività svolte in passato e dalle analisi di tali sequenze. Non verifica se l’approccio funzioni altrettanto bene con altre forme di memoria, come fatti o regole memorizzati oppure la cronologia di uno specifico utente. Gli autori osservano inoltre che i loro due esecutori hanno 4 miliardi e 8 miliardi di parametri: resta quindi da stabilire se agenti più grandi, paragonabili ai modelli di frontiera, trarrebbero beneficio da un composer separato.
Per ora, il risultato di MemComposer è circoscritto: in tre ambiti simulati del servizio clienti e con due agenti non modificati, imparare a selezionare e ordinare le esperienze recuperate ha superato le migliori alternative testate usando meno token di memoria. Resta da verificare se lo stesso rapporto tra risultati e uso di token valga per altri tipi di memoria e per agenti più grandi.