CausalAlign: allineamento causale dei modelli di generazione video per un ego-movimento coerente

Abstract degli autori

I modelli di generazione video (VGM) basati sulla diffusione possono produrre video visivamente plausibili, ma l’ego-movimento della videocamera spesso presenta una deriva nelle sequenze lunghe. L’ego-movimento della videocamera determina come cambia il punto di vista tra un fotogramma e l’altro ed è essenziale per mantenere coerenti geometria e traiettorie. Per affrontare questo problema, proponiamo CausalAlign, un sistema di allineamento causale composto da due parti. Per prima cosa, usiamo sonde lineari e interventi causali per esaminare come l’ego-movimento preciso venga rappresentato, utilizzato e mantenuto nei VGM, rilevando un andamento che cresce e poi cala durante la rimozione del rumore. In secondo luogo, rafforziamo lo stato dell’ego-movimento nel VGM allineando le rappresentazioni dei livelli individuati a quelle di un foundation model 3D attraverso lo spazio dei delta-token. Questo spazio codifica i cambiamenti tra fotogrammi consecutivi, consentendo all’allineamento di concentrarsi sulla dinamica dell’ego-movimento anziché sul contenuto statico della scena. Con Wan2.2 sottoposto a fine-tuning su DL3DV e RealEstate10K, CausalAlign può migliorare notevolmente la precisione del movimento, la coerenza geometrica e la fluidità temporale, preservando al contempo la qualità visiva. Per esempio, migliora la coerenza geometrica di oltre il 20% rispetto al modello di base. Inoltre, con il VGM sottoposto a fine-tuning, CausalAlign aumenta di 10 punti il tasso di successo dei modelli di azione nel mondo (WAM) nei compiti di manipolazione mobile del benchmark RoboCasa365. Nel complesso, CausalAlign migliora la coerenza dell’ego-movimento nei VGM basati sulla diffusione e produce miglioramenti evidenti nei modelli incarnati.