DistScene: Object-to-Scene Distillation per la generazione di scene 3D

Abstract degli autori

Presentiamo DistScene, un framework per la generazione composizionale di scene 3D a partire da una singola immagine, che modella congiuntamente l’ambiente e i singoli oggetti. A differenza dei metodi esistenti, che rappresentano le scene principalmente come insiemi di oggetti, modelliamo l’ambiente come componente esplicito della scena, così da fornire un contesto geometrico per la disposizione degli oggetti. Introduciamo Scene-Frame Generation, che genera congiuntamente componenti distinti per l’ambiente e gli oggetti in un sistema di coordinate condiviso, permettendo di apprenderne insieme la geometria e la disposizione reciproca. Introduciamo poi Object-Centric Refinement, che perfeziona ciascun oggetto in un sistema di coordinate locale tenendo conto del contesto della scena. Infine, sviluppiamo Object-to-Scene Distillation per trasferire alla generazione di scene i prior preaddestrati per la generazione di oggetti, usando scene sintetiche composte e renderizzate automaticamente. Le valutazioni su benchmark di ambienti interni ed esterni mostrano una maggiore coerenza spaziale a livello di scena rispetto ai metodi di riferimento valutati. Pagina del progetto: https://coolbeam.github.io/DistScene/