InfiniDream: mondi 3D fotorealistici aperti attraverso la generazione procedurale

Abstract degli autori

La generazione procedurale svolge un ruolo chiave nella creazione di dati sintetici e nello sviluppo di videogiochi, offrendo maggiore controllabilità, modificabilità e varietà rispetto alle rappresentazioni basate su mesh statiche. Tuttavia, la generazione di codice basata su VLM produce spesso risorse 3D relativamente semplici, mentre i sistemi procedurali fotorealistici più sofisticati richiedono un ampio lavoro di sviluppo manuale. I metodi procedurali esistenti guidati da VLM restano in gran parte vincolati a factory e API predefinite, il che ne limita la capacità di creare nuovi tipi di risorse. Presentiamo InfiniDream, un framework guidato da VLM per la generazione procedurale di mondi 3D aperti. In primo luogo, proponiamo Symbolically Constrained Asset Generation, che sfrutta algoritmi procedurali esistenti per creare risorse nuove e fotorealistiche, preservandone la modificabilità e la varietà basata sul seed. In secondo luogo, sviluppiamo una pipeline end-to-end dal testo al mondo che combina la pianificazione semantica delle scene con Deterministic Frustum-Guided Grid Placement per costruire mondi 3D su larga scala, con una collocazione precisa degli oggetti, popolamento procedurale e animazione. Valutazioni approfondite su 100 compiti di generazione di oggetti e 20 di generazione di scene mostrano miglioramenti secondo quattro metriche percettive. L’analisi della varietà, gli studi di ablazione e le valutazioni delle preferenze umane confermano ulteriormente l’efficacia del nostro framework. Pagina del progetto: https://yichuanh.github.io/infinidream-page/