UniForge3D: ricostruzione e generazione 3D congiunte in uno spazio condiviso guidato da un’ancora

Abstract degli autori

Generare asset 3D completi a partire da poche immagini senza posa nota richiede di preservare la geometria osservata e di completare le regioni non visibili. Combinare ricostruzione e generazione permette di perseguire entrambi gli obiettivi: la ricostruzione recupera la geometria osservata nelle immagini di input, mentre la generazione apporta conoscenze apprese sulle forme. Tuttavia, la ricostruzione relativa alla fotocamera e la generazione in uno spazio canonico usano coordinate diverse, rendendo più difficile un’interazione geometrica diretta. Inoltre, condizionare ogni posizione 3D a tutte le viste senza tener conto della loro pertinenza può mescolare informazioni geometriche utili e contenuti delle immagini non correlati, ostacolando il recupero dei dettagli locali. Presentiamo UniForge3D, che modella congiuntamente ricostruzione e generazione in uno spazio condiviso guidato da un’ancora, risolvendo la discrepanza tra le rispettive coordinate. Questo spazio segue l’azimut della vista di ancoraggio mantenendo l’oggetto in posizione verticale. I due rami si scambiano caratteristiche in entrambe le direzioni per prevedere mappe di punti per ciascuna vista e una struttura sparsa di voxel completa. Condizioniamo inoltre la previsione delle mappe di punti alla struttura generata per stabilire corrispondenze tra pixel e voxel e selezionare, per ciascun voxel, la vista di input più informativa. Le caratteristiche delle viste selezionate guidano quindi la generazione di forme dettagliate, contribuendo a preservare i dettagli geometrici osservati. Il nostro metodo ottiene risultati all’avanguardia per aspetto e geometria su Toys4K e GSO, generando asset 3D completi con una maggiore fedeltà. Pagina web del progetto: https://xishuxishu.github.io/uniforge3d-project/