Tetris3D: generazione di scene 3D con oggetti che si incastrano

Abstract degli autori

Proponiamo Tetris3D, un framework generativo per la ricostruzione di scene 3D a partire da una singola immagine, che ricostruisce oggetti capaci di formare, nel loro insieme, una scena coerente dal punto di vista fisico e geometrico. I metodi esistenti spesso generano gli oggetti in modo indipendente o li mettono in relazione implicitamente, offrendo indicazioni limitate su come garantire la compatibilità spaziale dettagliata tra oggetti vicini che interagiscono. Per affrontare questo problema, condizioniamo esplicitamente la generazione di ciascun oggetto alla geometria degli oggetti circostanti e alle loro relazioni fisiche, orientandone forma e posizione affinché restino geometricamente e fisicamente plausibili all’interno della scena. Introduciamo inoltre ComOb, un dataset basato su simulazioni fisiche che comprende 1,2 milioni di scene con interazioni fisiche tra diverse categorie di oggetti, mesh per ciascun oggetto e annotazioni delle relazioni fisiche tra coppie di oggetti. Esperimenti approfonditi su scene sintetiche e reali mostrano che Tetris3D ricostruisce forme e posizioni coerenti degli oggetti anche quando le regioni in cui interagiscono sono occluse, e raggiunge prestazioni all’avanguardia sia nella qualità della generazione sia nella stabilità fisica.