Easy-3Dfy: composizione geometrica a livello di oggetto per costruire scene 3D da una singola immagine

Abstract degli autori

La costruzione di scene 3D a partire da una singola immagine è un problema fondamentale della visione 3D. Metodi recenti come SAM-3Dfy consentono di ricostruire end-to-end gli asset 3D e la loro disposizione nella scena, ma incontrano ancora difficoltà con la geometria dettagliata della scena e la qualità degli asset. I generatori specializzati di oggetti 3D, invece, producono geometrie dettagliate degli oggetti, mentre i foundation model 3D offrono una comprensione spaziale solida e generalizzabile. Proponiamo Easy-3Dfy, un flusso di lavoro compositivo che separa la generazione degli oggetti dalla stima della loro disposizione nella scena, permettendo ai modelli specializzati di sfruttare appieno i rispettivi punti di forza. Un sistema di allineamento basato su RPF collega poi queste capacità stabilendo una corrispondenza geometrica tra le mesh locali degli oggetti e le mappe di punti parziali della scena, così da ricostruire la disposizione degli oggetti per comporre la scena. Senza richiedere una supervisione completa a livello di scena, il flusso di lavoro proposto supera sistematicamente SAM-3Dfy secondo molteplici metriche geometriche su Scene-Maker e 3D-FUTURE200. I nostri risultati dimostrano che la composizione geometrica esplicita può combinare efficacemente una generazione di oggetti di alta qualità con una solida comprensione spaziale, consentendo al tempo stesso al flusso di lavoro di beneficiare in modo indipendente dei progressi sia nella generazione di oggetti 3D sia nei foundation model.