I tipi di memoria variano: strategie diverse per potenziare la memoria a lungo termine degli agenti LLM

Abstract degli autori

Le capacità di memoria dei modelli linguistici di grandi dimensioni (LLM) hanno suscitato crescente interesse negli ultimi tempi. Nonostante i notevoli successi ottenuti, gli approcci alla memoria basati sul recupero dei dati tendono a trascurare le differenze tra le memorie e ad adottare un’unica strategia per trattarle tutte, con risultati non ottimali. Sorge quindi una domanda: possiamo classificare le memorie in tipi diversi e scegliere strategie appropriate? Non è facile, però, classificarle con precisione, perché gli scenari in cui vengono impiegate riguardano molti temi, sono complessi e hanno confini sfumati. Per affrontare questa sfida, proponiamo in questo studio TriMEM, un dataset multiclasse che fornisce annotazioni precise dei tipi di memoria in scenari diversi. Su questa base proponiamo MemoType, un nuovo framework per la memoria che, grazie a un modello router addestrato, è in grado di riconoscere in modo adattivo il tipo di ogni memoria e di ogni query. Instradando memorie e query, MemoType può recuperare le memorie in base ai tipi di query corrispondenti e definire strategie di recupero su misura, migliorando così le prestazioni. Dimostriamo inoltre sul piano teorico che, nei corpora multiclasse, la precisione attesa nel recupero di qualsiasi singola strategia è soggetta a un limite superiore fondamentale, che comporta un calo sistematico della precisione. Ampi esperimenti su tre dataset mostrano che MemoType supera costantemente i metodi esistenti, con un miglioramento di Recall@1 fino al 16,18%.