MemSteer: trasformare le cronologie degli utenti in supervisione per ottimizzare la memoria degli agenti

Abstract degli autori

Un sistema efficace di memoria per agenti dovrebbe adattarsi alla cronologia dell’utente e ai requisiti del compito. La supervisione annotata da esseri umani può guidare questo adattamento fornendo feedback per valutare e migliorare i sistemi di memoria. Tuttavia, per le nuove cronologie degli utenti raramente sono disponibili etichette adeguate, e creare manualmente coppie domanda-risposta (QA) e le relative prove è costoso. Presentiamo MemSteer, che trasforma cronologie degli utenti prive di etichette in supervisione QA corredata da prove, per ottimizzare la progettazione della memoria. MemSteer elabora un piano di risposta fondato sulle prove, che specifica in che modo i fatti presenti in documenti correlati supportano congiuntamente una risposta di riferimento. Il piano guida la generazione delle domande, mentre un controllo basato sulle fonti e il recupero alla cieca delle risposte verificano le annotazioni risultanti. Per studiare l’utilità di questa supervisione, sviluppiamo MemSteer-Opt, che combina la valutazione della progettazione basata su QA con la diagnosi dei fallimenti guidata dalle prove, per rivedere l’archivio di memoria, il recupero e la costruzione del contesto senza aggiornare i parametri del modello. Gli esperimenti su ATM-Bench e RHELM mostrano che questa supervisione è competitiva con l’ottimizzazione guidata dalle QA ufficiali. Rispetto a Base-BM25, MemSteer-Opt migliora il Question Score di ATM-Bench di 13,4 punti e l’accuratezza di RHELM di 4,1 e 6,6 punti, rispettivamente senza e con dati esterni. La supervisione giova anche a due ottimizzatori esistenti su ATM-Bench, mentre gli esperimenti con nuovi utenti dimostrano che l’ottimizzazione della progettazione può proseguire utilizzando la supervisione generata dalle cronologie degli utenti target.