Un percorso da ricordare: selezione adattiva della memoria per agenti LLM

Abstract degli autori

La memoria degli agenti in produzione sta diventando sempre più un collo di bottiglia ed è costruita quasi esclusivamente a partire dal testo: i punti chiave vengono estratti dal contesto oltre i limiti e recuperati nel contesto al momento della richiesta. Di conseguenza, ogni nuova richiesta comporta un costo aggiuntivo che aumenta con l’accumularsi della cronologia. La memoria nei pesi è un’alternativa complementare che incorpora le conoscenze nei parametri del modello e risponde senza alcun contesto; di recente si è dimostrata efficace negli agenti che evolvono autonomamente per incorporare competenze e comportamenti. Tuttavia, la sua applicazione alla memoria episodica e semantica, per esempio ai fatti specifici di un utente, è ancora relativamente poco esplorata, e persiste una lacuna tra i primi tentativi di memoria nei pesi e i sistemi basati sul testo in termini di prestazioni nel richiamo. Studiamo come rendere la memoria nei pesi competitiva come archivio fattuale a lungo termine applicando l’autodistillazione on-policy (OPSD). Questa addestra uno studente privo di contesto a partire da un insegnante, ovvero lo stesso modello condizionato dalla memoria dell’utente, insieme a un router che prima verifica e poi rigenera, consentendo alla memoria nei pesi e a quella testuale di gestire ciascuna le richieste a cui rispondono meglio. Sul benchmark HaluMem, OPSD eguaglia o supera solide baseline basate sulla memoria testuale, tra cui il prompting con contesto completo e i sistemi di recupero, pur leggendo meno token per richiesta. Conduciamo inoltre uno studio approfondito che caratterizza il comportamento della memoria nei pesi e analizza in che modo diverse ricette di addestramento ne influenzino le prestazioni. Man mano che le infrastrutture per agenti si orientano verso implementazioni persistenti e con più sessioni, questi risultati indicano la memoria nei pesi come una componente pratica e a basso costo della memoria degli agenti e offrono indicazioni su protocolli praticabili di addestramento e valutazione per combinarla con il recupero.