PVDepth: stima della profondità nei video panoramici tramite adattamento spazio-temporale consapevole della geometria

Abstract degli autori

La stima della profondità nei video panoramici è fondamentale per applicazioni come la realtà virtuale e i World Models. Tuttavia, i progressi in questo campo sono ostacolati da due difficoltà principali: la scarsità di dati di addestramento su larga scala e le peculiari sfide spazio-temporali della proiezione equirettangolare (ERP), che impediscono il trasferimento diretto dei modelli prospettici. In questo articolo presentiamo innanzitutto PanoCARLA, un dataset su larga scala di video panoramici sintetici RGB-D, con traiettorie di movimento naturali e punti di vista che ricordano quelli di un drone in movimento. Su questa base, proponiamo PVDepth, un framework end-to-end adattato da modelli prospettici per la stima della profondità nei video. Per affrontare le distorsioni geometriche specifiche dell’ERP e le conseguenti dinamiche temporali non lineari, introduciamo due meccanismi fondamentali: (1) una strategia di inizializzazione progressiva del rumore consapevole della sfera, che riduce gradualmente la distribuzione del rumore da planare a sferica, guidando il modello nell’adattamento alla densità non uniforme delle informazioni; e (2) un modulo di modellazione temporale rettificata tramite cubo, che integra un ramo temporale ausiliario basato su cubemap per rettificare le dinamiche temporali non lineari nel dominio ERP. Esperimenti approfonditi dimostrano che PVDepth raggiunge prestazioni superiori, generando sequenze di profondità geometricamente accurate e temporalmente coerenti. Codice e dati saranno resi disponibili all’indirizzo https:// github.com/ChuanxinSong/PVDepth.