FlockWorld: verso modelli del mondo basati su video multiagente su scala di popolazione attraverso la simulazione della vita artificiale

Abstract degli autori

La maggior parte dei modelli del mondo basati su video e condizionati dalle azioni resta limitata a un solo giocatore, mentre i modelli multigiocatore esistenti supportano soltanto gruppi piccoli e di dimensioni fisse. Presentiamo FlockWorld, un ambiente di vita artificiale basato sull’algoritmo Boids di Reynolds per studiare modelli del mondo basati su video multiagente su scala di popolazione. In particolare, FlockWorld produce ritagli egocentrici sincronizzati, assegna colori distinti per preservare l’identità degli agenti con telecamera tra le diverse visuali, rende disponibili come azioni le accelerazioni derivate dalle regole e consente di configurare il numero di agenti con telecamera indipendentemente dalle dimensioni della popolazione circostante. Presentiamo inoltre FlockDiT, un transformer a diffusione nello spazio latente condizionato dalle azioni e addestrato con flow matching sui dati di FlockWorld per generare congiuntamente video egocentrici sincronizzati per più agenti. I nostri risultati suggeriscono che la generazione congiunta migliora il rilevamento degli agenti in condizioni di pari densità e che il diffusion forcing aumenta la fedeltà dei rollout. Insieme, FlockWorld e FlockDiT offrono un ambiente di prova controllato per la generazione di video multiagente.