HiVe-Mem: alternare l’espansione orizzontale della memoria e la composizione verticale delle evidenze per agenti multimodali

Abstract degli autori

Man mano che gli agenti multimodali accumulano cronologie di interazione sempre più lunghe, recuperare e utilizzare efficacemente le informazioni passate diventa fondamentale per le interazioni a lungo termine. I sistemi di memoria esistenti si affidano in genere al recupero semantico di ricordi compressi e presentano rappresentazioni predefinite, che potrebbero non cogliere i ricordi pertinenti e trascurare le diverse esigenze di evidenze poste dalle varie query. Presentiamo \textbf{\hivemem}, un framework di memoria multimodale che alterna \textbf{\textsc{H}}or\textbf{\textsc{i}}zontal Memory Expansion e \textbf{\textsc{Ve}}rtical Evidence Composition. Per l’espansione orizzontale della memoria, \hivemem organizza gli episodi di memoria in un grafo relazionale usando ancore testuali e visive, ampliando i ricordi iniziali recuperati semanticamente con elementi correlati per recuperare informazioni complementari. Per la composizione verticale delle evidenze, ogni ricordo recuperato conserva diverse forme di evidenza, tra cui sintesi concise, didascalie, viste visive ancorate, immagini originali e cronologia delle interazioni. Un selettore leggero e addestrabile compone in modo indipendente un sottoinsieme di evidenze per ogni ricordo recuperato, consentendo un utilizzo delle informazioni multimodali eterogenee adattato alla query. Questo design bidimensionale amplia congiuntamente la copertura della memoria e adatta le evidenze fornite dai singoli ricordi. Gli esperimenti condotti su tre benchmark di memoria multimodale mostrano che \hivemem migliora costantemente le prestazioni nei vari compiti e modelli di base, riducendo al contempo il consumo di token di circa il 90\% rispetto alle baseline multimodali concorrenti più efficienti.