EmbodiedWorld-200K: verso agenti incarnati capaci di agire nel mondo attraverso un dataset per la pianificazione incarnata e modelli del mondo interattivi

Abstract degli autori

Sviluppare agenti incarnati capaci di percepire, ragionare e agire in diversi mondi 3D è una direzione di ricerca centrale verso l’intelligenza artificiale generale. Eppure, gran parte dei lavori esistenti resta confinata a compiti specifici in una singola scena e si trasferisce con difficoltà a nuovi ambienti: gli agenti incarnati generalisti per contesti open world rimangono quindi poco studiati. Chiamiamo questi agenti Embodied World Agents (EWAs): la loro caratteristica distintiva è la capacità di comprendere ambienti visivi diversi e compiere azioni generali in condizioni open world. Per far progredire la ricerca sugli EWA, studiamo la navigazione e la pianificazione incarnate in ambienti open world e rendiamo disponibile EmbodiedWorld-200K, un dataset su larga scala con oltre 200K campioni provenienti da scene diverse. Ogni esempio è corredato da annotazioni a più livelli, dalle traiettorie di movimento della telecamera di basso livello alle istruzioni semantiche di alto livello. Il dataset offre inoltre suddivisioni unificate per la valutazione e metriche specifiche per ciascun compito, a supporto del preaddestramento offline e di una valutazione equa degli EWA. Oltre alla supervisione offline, una caratteristica distintiva degli EWA è l’interazione con l’ambiente: addestrarli soltanto su dati offline è quindi insufficiente, soprattutto per generalizzare a scene non presenti nella distribuzione dei dati di addestramento. Costruire ambienti interattivi reali dedicati, tuttavia, ha spesso costi proibitivi. Per affrontare questo problema, proponiamo un nuovo schema di addestramento che impiega un modello del mondo basato su video come sostituto a basso costo dell’ambiente e al suo interno esegue il post-addestramento interattivo dell’EWA mediante apprendimento per rinforzo (RL). Sul piano empirico, il preaddestramento su EmbodiedWorld-200K migliora sostanzialmente la capacità dell’EWA di pianificare azioni incarnate in ambienti open world, mentre il successivo post-addestramento tramite RL all’interno di un modello del mondo produce ulteriori, chiari miglioramenti su scene fuori distribuzione. Il dataset, i checkpoint baseline e il codice per l’addestramento e la valutazione sono disponibili all’indirizzo https://xiaokunfeng.github.io/EmbodiedWorld-200K/.