GeoV2V: modello di diffusione video basato sulla geometria per generare scene di guida

Abstract degli autori

La sintesi di nuove viste in presenza di variazioni della traiettoria è essenziale per simulare la guida autonoma. I metodi esistenti, però, faticano a generare video coerenti quando devono produrre punti di vista mai osservati, come quelli dovuti a cambi di corsia. Gli approcci basati sulla ricostruzione mantengono la coerenza geometrica, ma perdono qualità visiva quando il punto di vista cambia molto; quelli che ricostruiscono e poi ripristinano le immagini producono spesso fotogrammi visivamente plausibili, ma presentano incoerenze geometriche e temporali. Presentiamo GeoV2V, un framework di diffusione video-to-video basato sulla geometria che genera video di guida temporalmente coerenti lungo nuove traiettorie, integrando informazioni geometriche a priori derivate da LiDAR e profondità con un condizionamento sull’intero video nell’architettura Wan 2.1. Una difficoltà fondamentale nell’apprendere trasformazioni tra corsie è la mancanza, nei dataset reali, di dati di supervisione sincronizzati relativi a più traiettorie. Per affrontarla, introduciamo anche Para4D, un dataset sintetico di video di guida sincronizzati su più corsie all’interno di scene dinamiche. Il dataset fornisce una supervisione esplicita per la generazione di cambi di corsia e costituisce una solida base per l’addestramento alla sintesi di viste geometricamente coerenti. Gli esperimenti su Waymo, nuScenes e Para4D mostrano prestazioni allo stato dell’arte per qualità visiva, coerenza geometrica e robustezza a dinamiche di illuminazione complesse in presenza di grandi variazioni della traiettoria. Pagina del progetto: https://xiyuche.github.io/GeoV2V/