Apprendere a ricostruire le coordinate della scena da immagini senza pose note mediante l’ottimizzazione del grafo delle pose

Abstract degli autori

I metodi di structure-from-motion basati sull’apprendimento, come ACE-Zero, hanno mostrato buone prestazioni nella stima delle pose delle fotocamere e delle coordinate della scena a partire da raccolte di immagini non ordinate, senza richiedere una supervisione basata sulla ground truth. Tuttavia, l’assenza in ACE-Zero di vincoli di coerenza globale e multivista può causare una deriva delle pose e disallineamenti, soprattutto nelle scene complesse o ambigue. In questo lavoro proponiamo un approccio ibrido che integra l’ottimizzazione del grafo delle pose (PGO) in ACE-Zero per affinare le pose delle fotocamere e impedire correzioni errate. Costruiamo i grafi delle pose direttamente dai risultati di ACE-Zero, ricavando vincoli sulle pose relative dalle coordinate della scena previste. Introduciamo inoltre una strategia di ottimizzazione che tiene conto dell’incertezza, stimando punteggi di confidenza sulla base di conoscenze geometriche a priori, tra cui la coerenza epipolare e quella del flusso ottico tra le diverse viste. Il nostro approccio migliora la robustezza e l’accuratezza della stima delle pose, mostrando che il ragionamento geometrico globale può integrare efficacemente l’inferenza basata sull’apprendimento nello structure-from-motion.