E3tereo: migliorare la corrispondenza stereo ai bordi di profondità con bordi geometrici appresi

Abstract degli autori

I bordi di profondità restano una delle principali fonti di errore nella corrispondenza stereo. Per IGEV su Scene Flow, i pixel sui bordi geometrici rappresentano solo il 6% dei pixel valutati, ma circa la metà dell’errore assoluto totale di disparità. I bordi fotometrici possono riflettere variazioni di texture senza corrispondenti discontinuità di profondità, risultando così indicatori inaffidabili per affinare i bordi. Proponiamo E3Stereo, che apprende i bordi geometrici mediante la supervisione della disparità e combina queste informazioni sui bordi con la disparità prodotta dal backbone e i dettagli dell’immagine per prevedere correzioni della disparità a piena risoluzione. La stessa mappa dei bordi dà inoltre maggior peso agli errori sui bordi durante l’addestramento, mentre l’ottimizzazione congiunta consente al modello che predice i bordi di adattarsi all’affinamento della disparità. Sul dataset Scene Flow, E3Stereo riduce l’errore sui punti finali (EPE) ai bordi di profondità del 9,5%-14,3% con RAFT-Stereo, IGEV e MonSter, riducendo anche l’EPE complessivo. Dopo il fine-tuning, il nostro modello basato su IGEV supera IGEV in tutte le undici metriche riportate per ETH3D, KITTI 2012 e KITTI 2015. Il codice sorgente sarà reso pubblico dopo l’accettazione.