Vedere, mantenere e apprendere: l’evoluzione della memoria degli agenti multimodali

Abstract degli autori

I modelli e gli agenti multimodali sono emersi per consentire ai sistemi di IA di apprendere dal mondo reale e interagire con esso in modo più simile agli esseri umani, integrando informazioni provenienti da più modalità. Tuttavia, consentire agli agenti multimodali di acquisire continuamente informazioni utili da dati multimodali complessi ed eterogenei resta una sfida significativa, mentre si orientano verso compiti a lungo termine e contesti che coprono l’intero ciclo di vita. Affrontare questa sfida richiede meccanismi di memoria efficaci, capaci di preservare la continuità tra le sessioni, adattarsi al mutare degli utenti e degli ambienti e perfezionare le politiche di gestione della memoria attraverso l’esperienza accumulata. Proponiamo un quadro analitico della memoria degli agenti multimodali articolato su due assi, attorno a due domande fondamentali: come si formano e si rappresentano le informazioni multimodali (Asse I, formazione e rappresentazione) e come la loro gestione si adatta con l’esperienza accumulata (Asse II, gestione della memoria). L’Asse I, formazione e rappresentazione, descrive quali informazioni vengono conservate e come vengono codificate (per esempio, embedding specifici delle singole modalità, registrazioni testuali e strutturate, rappresentazioni latenti e parametriche) per sostenere il ragionamento e l’azione successivi. L’Asse II, gestione della memoria, distingue tre livelli: T1 memoria statica, che riutilizza una memoria fissa; T2 memoria dinamica, che aggiorna la memoria secondo una politica stabile; e T3 memoria autoevolutiva, che aggiorna la memoria secondo una politica in evoluzione. Sulla base di questo quadro, sintetizziamo gli schemi progettuali ricorrenti e ricaviamo principi per bilanciare la fedeltà alle fonti con l’astrazione, preservare la validità temporale e la provenienza, fondare l’uso della memoria su elementi di prova recuperabili e far evolvere nel tempo le politiche di gestione della memoria. Esaminiamo inoltre le sfide e le possibili direzioni future per il meccanismo di memoria degli agenti multimodali.