MemPilot: orchestrare la curatela su richiesta della memoria multimodale per gli agenti LLM

Abstract degli autori

La memoria è diventata parte integrante dell’ecosistema degli agenti LLM, perché consente di conservare e riutilizzare informazioni nel corso delle interazioni. Tuttavia, la maggior parte dei sistemi di memoria esistenti costruisce la memoria indipendentemente dalla query: questo può comportare costi di pre-elaborazione superflui e far perdere dettagli che in seguito si rivelano essenziali. Studi recenti hanno iniziato a spostare l’elaborazione della memoria verso un adattamento durante l’esecuzione, ma in genere si concentrano su operazioni specifiche o su schemi di elaborazione fissi. Il controllo flessibile di prestazioni, costi e latenza resta quindi in gran parte inesplorato. Per affrontare questa sfida presentiamo \textbf{MemPilot}, un framework flessibile che orchestra la curatela della memoria su richiesta in base a diverse preferenze relative a prestazioni, costi e latenza. In particolare, ottimizziamo tramite apprendimento per rinforzo una strategia LLM in più passaggi che sceglie iterativamente se recuperare informazioni da una memoria indipendente dalla query oppure delegare a LLM e VLM eterogenei la curatela della cronologia multimodale grezza in funzione della query. La strategia controlla congiuntamente la quantità di evidenze, le istruzioni per la curatela, la scelta del modello e l’accesso visivo, consentendo di allocare con precisione le risorse di calcolo durante l’esecuzione. Per ottimizzarla rispetto a obiettivi in concorrenza, adattiamo il disaccoppiamento del vantaggio per obiettivo, stimando separatamente il vantaggio di ciascun obiettivo prima di aggregarli. Introduciamo inoltre una stima dell’utilità marginale basata sui prefissi, per attribuire con precisione il merito dei risultati nei rollout in più passaggi. Esperimenti condotti su cinque benchmark multimodali per la memoria degli agenti mostrano compromessi favorevoli tra prestazioni, costi e latenza per diverse preferenze di ottimizzazione; l’esplorazione di tali preferenze produce frontiere più ampie rispetto ai metodi di riferimento esistenti che tengono conto di questi compromessi.