EmbodiedMemory-Bench: un benchmark della memoria incarnata per compiti incarnati di lungo periodo

Abstract degli autori

Le interazioni incarnate di lungo periodo richiedono agli agenti di conservare e aggiornare continuamente le informazioni sull’ambiente mentre osservano, agiscono e incontrano cambiamenti. Eppure, gli agenti attuali faticano a mantenere una memoria affidabile. La nostra analisi riconduce questo limite a quattro carenze principali: una debole memoria visiva dei dettagli, un monitoraggio inaffidabile dei cambiamenti dello stato del mondo, la mancata registrazione dello stato del mondo rivelato dagli esiti delle interazioni e una limitata capacità di generalizzare a partire dalle esperienze precedenti. I benchmark esistenti, tuttavia, non valutano direttamente queste capacità di memoria durante le interazioni incarnate di lungo periodo. Per colmare questa lacuna, presentiamo EmbodiedMemory-Bench (EMem-Bench), che comprende 2.554 episodi interattivi suddivisi in quattro famiglie di compiti. EMem-Bench richiede agli agenti di costruire e aggiornare una memoria a partire dalla storia delle interazioni, per poi usarla per portare a termine un compito successivo agendo nell’ambiente. Presentiamo inoltre Embodied-Memorizer (EMem), un sistema di memoria esterno che organizza l’esperienza incarnata in memorie spaziali, degli eventi e delle scene. Addestriamo anche EMem-8B, una policy 8B che gestisce e usa queste memorie. Valutiamo un’ampia gamma di MLLM open source e proprietari, oltre a sistemi rappresentativi di memoria multimodale. I risultati mostrano che i modelli attuali restano deboli e hanno prestazioni disomogenee nelle quattro sfide. A parità di backbone, EMem ottiene le migliori prestazioni complessive tra i sistemi di memoria valutati e migliora le prestazioni sia dei modelli open source sia di quelli proprietari, mentre EMem-8B supera a sua volta il proprio backbone. Pagina del progetto: https://zju-omniai.github.io/EmbodiedMemoryBench/