OuroWorld: dare vita a qualsiasi mondo 3D con cinemagraph 3D variegati che si ripetono all’infinito

Abstract degli autori

I recenti modelli di mondi 3D generano scene fotorealistiche ed esplorabili, ma immobili nel tempo. OuroWorld è un framework che non richiede maschere e trasforma qualsiasi scena statica basata su 3D Gaussian Splatting in un cinemagraph 3D: una scena dinamica con movimenti vividi e diversificati, che si ripetono senza interruzioni da qualsiasi punto di vista. Un modello visivo-linguistico deduce dinamiche plausibili e guida un modello video nella generazione di un video di riferimento, da cui ricaviamo e completiamo video da più punti di vista. Per apprendere da questa supervisione imperfetta, proponiamo Inconsistency-Robust Periodic 4DGS: un campo di deformazione basato su serie di Fourier garantisce per costruzione la ripetizione ciclica, mentre un Grounded Drift Field ancorato al punto di vista di riferimento assorbe le incoerenze tra i diversi punti di vista. A differenza dei precedenti metodi euleriani, limitati a movimenti simili a quelli dei fluidi, il nostro approccio riproduce deformazioni generali, movimenti degli oggetti e cambiamenti di illuminazione. Introduciamo una valutazione che non richiede dati di riferimento reali e prende in esame la vividezza, la naturalezza, la coerenza del raccordo del loop e la qualità della scena. Su 39 scene ricostruite e generate, OuroWorld supera tutti i metodi di confronto e prevale nel 70,8%-99,0% dei confronti condotti nello studio con gli utenti. Pagina del progetto: https://ouroworld.userwei.com