Modello del mondo egocentrico multiagente con interazioni incarnate a grana fine

Abstract degli autori

I modelli egocentrici del mondo prevedono le osservazioni in prima persona sulla base delle azioni di un agente, ma la maggior parte si concentra su un solo agente. Negli ambienti in cui gli agenti agiscono fisicamente, spesso più agenti operano e interagiscono in un ambiente condiviso. I modelli del mondo multiagente esistenti si basano su azioni grossolane, come la locomozione, il controllo della telecamera o comandi discreti, e le interazioni incarnate a grana fine restano poco esplorate. Formuliamo la modellazione egocentrica del mondo multiagente come generazione sincronizzata di flussi egocentrici per più agenti che interagiscono attraverso azioni a grana fine in un mondo condiviso. Ciò richiede coerenza delle azioni tra le diverse viste, coerenza dell’ambiente condiviso e propagazione coerente degli aggiornamenti di stato indotti dalle interazioni. Proponiamo Multi-agent Egocentric World Model (ME-World), che rimuove congiuntamente il rumore da più flussi egocentrici in una sequenza condivisa di token, condiziona ciascun flusso alle pose di tutti gli agenti nelle rispettive viste di destinazione e ancora la generazione a una memoria condivisa dell’ambiente. Addestriamo e valutiamo il modello su dati multiagente reali e sintetici e introduciamo metriche di coerenza del mondo condiviso relative all’ambiente, agli aggiornamenti e all’identità. Gli esperimenti mostrano che ME-World migliora la coerenza del mondo condiviso, il controllo delle azioni, la conservazione dell’identità e la qualità dei video rispetto ai metodi esistenti.