Solv3R: transformer 3D iterativo come risolutore multivista

Abstract degli autori

La ricostruzione classica della struttura dal movimento procede in modo iterativo, perfezionando le pose delle camere e la geometria della scena a partire da una stima corrente. Ciò consente alle mappe di espandersi facilmente senza ricalcolare le viste già calcolate, oppure alle stime della geometria di migliorare man mano che vengono fornite ulteriori osservazioni. La maggior parte dei modelli geometrici fondazionali, tuttavia, predice l’intera geometria in un unico passaggio in avanti oppure aggiorna uno stato ricorrente man mano che i fotogrammi arrivano in sequenza, rendendo non banali questa espansione e questo perfezionamento. Presentiamo Solv3R, un transformer iterativo che apprende a continuare a risolvere la geometria multivista a partire dal proprio stato corrente. È importante che il suo operatore di aggiornamento sia indipendente dal numero di iterazioni, consentendo di aggiornare congiuntamente viste già perfezionate e viste appena introdotte, indipendentemente dal loro grado di ``risoluzione''. Addestriamo l’operatore a preservare ricostruzioni accurate durante iterazioni successive e a correggere stati imprecisi, consentendo di perfezionare raccolte di immagini mantenute fisse e integrare nuove osservazioni. Le rappresentazioni delle viste risolte possono anche essere memorizzate nella cache una sola volta e riutilizzate come contesto geometrico tra un’iterazione e l’altra, consentendo una cache key-value compatta ed efficiente. Analizziamo le dinamiche del risolutore e lo confrontiamo con lo stato dell’arte, dimostrando che un singolo risolutore appreso supporta la ricostruzione offline, la ricostruzione incrementale, la rilocalizzazione e lo streaming, senza addestramento o moduli specifici per ciascun compito. Il codice e i modelli saranno resi pubblicamente disponibili all’indirizzo https://ubc-vision.github.io/solv3r/.