Holo4D: ricostruzione 4D olistica come controllo geometrico per la diffusione video

Abstract degli autori

Sintetizzare un video monoculare secondo una nuova traiettoria della telecamera richiede di preservare la geometria e il movimento della scena osservata, completando al tempo stesso le regioni che diventano visibili. I ricostruttori 4D feed-forward recuperano la struttura della scena osservata, mentre i modelli di diffusione video forniscono un prior generativo per completare i contenuti non visibili. Presentiamo Holo4D, un framework per realizzare nuove riprese video che usa le traiettorie 3D ricostruite come struttura di supporto 4D olistica della vista sorgente. Proiettiamo queste traiettorie nelle viste richieste e ne codifichiamo la geometria e l’aspetto visivo della sorgente per guidare un modello di diffusione video preaddestrato. Insieme al video sorgente e alle telecamere di destinazione, questa struttura ancora la generazione alle osservazioni ricostruite, lasciando le regioni prive di supporto al prior generativo. Gli esperimenti dimostrano il valore del condizionamento basato sulle traiettorie per il controllo della telecamera e la sintesi di nuove viste. Il framework può utilizzare diversi ricostruttori 4D senza riaddestrare il generatore video, beneficiando così dei futuri progressi nella ricostruzione della sorgente. Ulteriori dettagli sono disponibili nella pagina del nostro progetto.