CompMVR: restauro multivista che tiene conto della compressione mediante modelli di diffusione per una ricostruzione 3D geometricamente coerente

Abstract degli autori

Le procedure di ricostruzione 3D nel mondo reale si basano spesso su immagini multivista degradate dalla compressione con perdita. Sebbene gli artefatti di compressione siano stati ampiamente studiati nel restauro di singole immagini o video, il loro impatto sulla geometria multivista è rimasto in gran parte trascurato. In questo lavoro individuiamo nell’incoerenza geometrica tra le viste indotta dalla compressione una causa critica di errore: gli artefatti che variano da una vista all’altra compromettono l’abbinamento delle caratteristiche, la corrispondenza densa, la stima dei parametri della fotocamera e le successive attività di ricostruzione 3D, come la sintesi di nuove viste. Per affrontare il problema proponiamo CompMVR, un framework di restauro multivista basato su modelli di diffusione che tiene conto della compressione e perfeziona congiuntamente le viste compresse preservandone la coerenza reciproca. Realizziamo inoltre dataset compressi per una valutazione sistematica. A differenza dei metodi di restauro convenzionali, che ottimizzano ciascuna immagine indipendentemente in funzione della qualità percettiva 2D, CompMVR sfrutta conoscenze a priori sulla compressione apprese dal modello e le corrispondenze tra le viste per recuperare i dettagli visivi, migliorando al tempo stesso l’affidabilità geometrica tra le viste. Esperimenti condotti su diversi dataset, codec e livelli di compressione mostrano miglioramenti nella qualità del restauro e nelle successive attività 3D, tra cui la sintesi di nuove viste, la stima della posa della fotocamera e l’abbinamento tra le viste. Questi risultati mostrano che il restauro di immagini multivista compresse costituisce un problema a sé e ne evidenziano l’importanza per la ricostruzione 3D in presenza di compressione con perdita. Il codice e i dati di questo articolo sono disponibili all’indirizzo https://mchaewon.github.io/CompMVR-project-page/.