WorldRecon: ricostruzione generativa di mesh multivista per un mondo 3D su larga scala

Abstract degli autori

Ricostruire mesh complete e di alta qualità di scene su larga scala a partire da immagini multivista prive di pose note richiede una ricostruzione geometrica fedele e, al tempo stesso, il completamento plausibile delle superfici non osservate o acquisite solo parzialmente. Presentiamo WorldRecon, un sistema di ricostruzione generativa multivista che ricava mesh complete di scene 3D su larga scala da immagini RGB prive di pose note. WorldRecon usa come impalcatura globale per la generazione dell’intera scena una nuvola di punti globale, grossolana e rumorosa, insieme alle pose delle fotocamere stimate dalle immagini di input mediante un modello di ricostruzione, e suddivide la nuvola in blocchi spaziali sovrapposti. Per sfruttare in modo robusto queste informazioni geometriche preliminari imperfette, dotiamo il modello generativo 3D nativo TRELLIS.2 di un’architettura dedicata di condizionamento basata sulla ricostruzione, che genera ciascun blocco a partire dalla porzione locale della nuvola di punti e dalle osservazioni nelle immagini pertinenti al blocco, producendo una struttura sparsa, una geometria dettagliata e materiali PBR. Per mantenere la coerenza dell’intera scena, introduciamo un inpainting latente che tiene conto dei blocchi vicini e una procedura causale di generazione del mondo che propaga il contesto strutturale, geometrico e dei materiali tra blocchi sovrapposti. Insieme, queste soluzioni consentono di applicare la ricostruzione generativa multivista a scene su larga scala, producendo mesh coerenti e unificate. Ampi esperimenti dimostrano che WorldRecon raggiunge prestazioni di ricostruzione allo stato dell’arte: rispetto ai migliori metodi di riferimento, riduce la distanza di Chamfer del 14,9% e del 43,1% e migliora l’F-score del 17,3% e del 12,0% su scene d’interni sintetiche e reali, rispettivamente. I risultati dimostrano così una ricostruzione generativa fedele e completa e una forte capacità di generalizzazione dal simulato al reale. Pagina del progetto: https://kszpxxzmc.github.io/WorldRecon-website/.