Ricostruzione 4D con eventi & RGB

Abstract degli autori

Ricostruire nel tempo scene 3D dinamiche (ricostruzione 4D) a partire da una sola fotocamera in movimento è fondamentale per le applicazioni di robotica e AR/VR. Tuttavia, i metodi feed-forward allo stato dell’arte si basano esclusivamente su fotogrammi RGB e risentono quindi dei limiti delle fotocamere tradizionali, tra cui la sfocatura dovuta al movimento e l’aliasing temporale quando la fotocamera o gli oggetti si muovono rapidamente o in modo non uniforme. Le fotocamere a eventi registrano in modo asincrono le variazioni di luminosità di ciascun pixel con una risoluzione temporale di microsecondi, offrendo un segnale complementare in larga misura immune a questi artefatti. Resta però da chiarire se questa modalità possa essere integrata nelle pipeline esistenti di ricostruzione 4D basate su RGB senza riprogettarne completamente l’architettura. In questo studio preliminare esaminiamo un’estensione minima: aggiungiamo a Monst3R, un modello di ricostruzione 4D basato solo su RGB, un ramo di input per la fotocamera a eventi, lasciando invariato il resto dell’architettura. Su 3 dataset benchmark, questa semplice fusione di RGB ed eventi riduce l’Abs Rel in media del 3,4% rispetto al modello di riferimento Monst3R basato solo su RGB. Un’analisi di sensibilità mostra inoltre che il miglioramento cresce con l’entità del movimento della fotocamera e degli oggetti: i guadagni maggiori si osservano quando il movimento degli oggetti è elevato, condizioni in cui la ricostruzione basata solo su RGB peggiora maggiormente. Questi primi risultati suggeriscono che anche una fusione leggera e non invasiva dei dati degli eventi può migliorare sensibilmente la robustezza della ricostruzione 4D, motivando uno studio più approfondito dell’architettura nei lavori futuri.