PhysInsert: inserimento di oggetti fisicamente plausibile con prior geometrici e interazioni bidirezionali tra oggetto e scena

Abstract degli autori

Presentiamo PhysInsert, un framework per l’inserimento di oggetti fisicamente plausibile basato su riferimenti, che adatta congiuntamente gli oggetti e le scene circostanti. I metodi esistenti si basano spesso su input mascherati, coppie generate o coppie di addestramento con una variazione limitata del punto di vista, lasciando insufficientemente vincolati l’adattamento della posa e dell’illuminazione e le interazioni bidirezionali tra oggetto e scena. Abbiamo creato il dataset Insert World con coppie controfattuali renderizzate in Blender e rigorosamente allineate, e riferimenti degli oggetti relativi a diversi punti di vista e condizioni di illuminazione. A partire da questi dati, Geometry-Guided Adaptation combina un flusso geometrico VGGT con flussi di immagini e testo, sotto la supervisione delle caratteristiche della scena di destinazione, per guidare un inserimento coerente dal punto di vista spaziale. La complementare 2D Object-Scene Spatial Supervision supervisiona congiuntamente l’occupazione degli oggetti e i cambiamenti ambientali, ancorando al contempo le istruzioni spaziali alle regioni degli oggetti tramite l’attenzione immagine-testo. Presentiamo PhysInsert-Bench, con casi specifici che riguardano ambienti e punti di vista diversi e richiedono un adattamento dell’illuminazione e della posa che vada oltre la semplice copia dell’aspetto. Gli esperimenti su PhysInsert-Bench e DreamBooth dimostrano una maggiore fedeltà delle immagini; uno studio con utenti mostra inoltre una maggiore accuratezza nel posizionamento e miglioramenti nell’integrazione dell’illuminazione, nella prospettiva e nella plausibilità della posa.