RealMe: video volumetrici immersivi a partire da acquisizioni minime

Abstract degli autori

Questo articolo affronta il problema della creazione di video volumetrici immersivi a partire da acquisizioni sparse e a bassa risoluzione. I metodi convenzionali di ricostruzione densa da più punti di vista possono produrre video volumetrici di alta qualità, ma richiedono costose configurazioni di acquisizione, che li rendono poco pratici in contesti reali. Gli approcci recenti usano modelli generativi per ridurre i requisiti di acquisizione, ma presentano ancora limiti di risoluzione e incoerenze in 4D. Per superare questi vincoli proponiamo RealMe, un framework unificato basato su un modello di diffusione video ad alta risoluzione che trasforma acquisizioni limitate in video ad alta risoluzione (2K) e coerenti in 4D, destinati alla ricostruzione di video volumetrici. In particolare, RealMe ricava dati ausiliari dai video acquisiti e li codifica in rappresentazioni latenti insieme a embedding posizionali che tengono conto della disposizione delle acquisizioni. Il modello di diffusione video adatta l’attenzione spazio-temporale fattorizzata alla disposizione delle acquisizioni da più punti di vista, rimuove il rumore da queste rappresentazioni latenti attraverso i diversi punti di vista e nel tempo, e le decodifica in video migliorati per perfezionare la rappresentazione 4D. Questo adattamento aiuta il modello a cogliere le dinamiche temporali e le relazioni tra i diversi punti di vista, producendo video più coerenti in 4D. Per ridurre il divario tra i dati dei video generati e quelli delle acquisizioni reali, applichiamo una funzione di perdita sulle frequenze latenti che fornisce una supervisione nel dominio delle frequenze all’interno dello spazio latente. Ampi esperimenti sul benchmark pubblico DNA-Rendering e sul dataset RealVV, acquisito da noi, dimostrano che RealMe è in grado di creare video volumetrici immersivi e supera i metodi più avanzati per fedeltà visiva e coerenza in 4D.