OmniShowcase: generazione omnidirezionale di video coerenti con il soggetto a partire da immagini da più punti di vista

Abstract degli autori

Generare video di un soggetto specifico a partire da poche immagini di riferimento rimane una sfida quando la telecamera rivela superfici non visibili nell’input. I primi metodi subject-to-video (S2V) si basano su una singola immagine di riferimento e devono quindi inferire l’aspetto e la geometria delle parti non visibili del soggetto al cambiare del punto di vista. Per superare questa limitazione, metodi più recenti estendono S2V a più viste di riferimento, fornendo maggiori informazioni sul soggetto da diversi punti di vista. Non specificano però esplicitamente la struttura 3D che collega queste osservazioni. Inoltre, i dati di addestramento esistenti non garantiscono che i cambiamenti di punto di vista preservino lo stesso soggetto 3D sottostante. Presentiamo OmniShowcase, basato su due componenti: (i) una pipeline di sintesi dei dati completamente automatizzata che produce video di addestramento lungo diverse traiettorie della telecamera, con variazioni del punto di vista guidate dalla geometria sottostante del soggetto e capaci di coprire anche orbite complete di 360 gradi; (ii) un metodo di condizionamento geometrico che fornisce al modello video una sequenza a rotazione di mappe delle normali alle superfici ricostruite a partire dalle viste di riferimento, senza richiedere un allineamento temporale con i fotogrammi generati. Abbiamo costruito Showcase-4K, un corpus di video basati su asset 3D che copre dodici movimenti della telecamera in 88 configurazioni di traiettoria, con condizionamento mediante mappe delle normali alle superfici ottenute dalla ricostruzione, e ShowcaseBench, un insieme di valutazione separato con le mesh sorgente e i parametri della telecamera utilizzati per il rendering di ciascun video. Gli esperimenti mostrano risultati allo stato dell’arte nella preservazione dell’identità del soggetto e nella coerenza 3D, mantenendo qualità e movimento dei video competitivi. Pagina del progetto: justin4ai.github.io/OmniShowcase