PIE-PS: stereo fotometrico da flussi di eventi di irradianza fisica

Abstract degli autori

Le camere a eventi registrano variazioni asincrone del logaritmo dell’irradianza dell’immagine, con una latenza di pochi microsecondi e un’ampia gamma dinamica. Queste proprietà sono utili per lo stereo fotometrico con illuminazione in movimento, ma gli eventi grezzi sono sparsi e dipendono da una soglia di contrasto sconosciuta. Partendo dal modello di attivazione degli eventi, ricaviamo una relazione fisica tra eventi adiacenti, movimento della luce e normali alla superficie. Questa relazione permette di ottenere un risolutore diretto basato esclusivamente sulla fisica, che però richiede di conoscere la soglia, disporre di un numero sufficiente di eventi per ogni pixel ed eseguire un’ottimizzazione indipendente per ciascun pixel. Per superare questi limiti, introduciamo PIE-PS, un sistema basato sull’apprendimento per la ricostruzione densa delle normali alla superficie a partire da flussi di eventi grezzi e da un’illuminazione nota. Formiamo i Physical Irradiance Events (PIEs) accoppiando due eventi adiacenti dello stesso pixel con le rispettive direzioni della luce. Ogni PIE fornisce una Physical Irradiance Event Feature (PIEF), definita come la frequenza degli eventi con segno. PIEF non richiede di conoscere la soglia di contrasto. Per condividere il contesto spaziale e temporale tra PIE vicini, introduciamo PIE-GNN, che tratta ogni PIE come un nodo di un grafo e lo codifica insieme alla geometria della sua coppia di direzioni della luce. Poiché l’affidabilità delle osservazioni PIE può variare in funzione dell’aspetto locale, della geometria dell’illuminazione e del rumore del sensore, Reliability-Grading Attention (RGA) stima pesi di affidabilità per ridurre il contributo dei PIE poco affidabili. L’aggregazione per pixel produce quindi una ricostruzione densa delle normali. Gli esperimenti su dati sintetici e reali mostrano che PIE-PS supera sia i precedenti metodi di stereo fotometrico basati sugli eventi sia il risolutore diretto usato come riferimento.