GeoFix: correzione della geometria per una generazione 4D coerente

Abstract degli autori

I modelli di diffusione video fungono sempre più spesso da modelli a priori per la generazione 4D, ma i video generati spesso mancano di coerenza geometrica. Gli approcci recenti affrontano il problema con un addestramento successivo basato su ricompense geometriche, che però può peggiorare le texture e i dettagli fini, rendendo necessarie ricompense aggiuntive per l’aspetto visivo e un attento bilanciamento delle ricompense. Per affrontare questa difficoltà, proponiamo GeoFix, un framework unificato che migliora la coerenza geometrica e la qualità visiva con un’unica ricompensa geometrica, applicabile sia all’addestramento sia all’allineamento della ricompensa in fase di inferenza. La nostra ricompensa misura la coerenza della profondità tra diverse viste nelle regioni statiche della scena, intervenendo sulle incoerenze strutturali senza imporre vincoli diretti all’aspetto visivo né penalizzare i movimenti validi degli oggetti. Un aspetto cruciale è che la concordanza delle profondità aumenta con la sovrapposizione dei campi visivi delle telecamere anche nei video reali e nei dataset 4D: un movimento più ridotto della telecamera può quindi essere scambiato per una migliore geometria. Teniamo conto di questo effetto calibrando la ricompensa in base alla tendenza legata alla sovrapposizione. GeoFix ottiene un miglioramento del 39% in WorldScore 3D consistency e un aumento del 4% in VBench Quality Score.