PGGT-Loc: Transformer geometrico basato su primitive per la localizzazione feed-forward della camera

Abstract degli autori

I metodi di localizzazione della camera si basano perlopiù su pipeline a più fasi che richiedono mappe dedicate e complesse, costose da costruire, archiviare e mantenere nel tempo. In alternativa, sono spesso già disponibili mappe ben strutturate, che organizzano le scene usando primitive compatte ma espressive e forniscono ricchi indizi strutturali e semantici, interpretabili dagli esseri umani. Tuttavia, il loro potenziale per la localizzazione diretta della camera resta in gran parte inesplorato, a causa del considerevole divario tra le modalità delle primitive della mappa e delle osservazioni visive. Ciò motiva un nuovo concetto di localizzazione, che stima le pose della camera ancorando le osservazioni di query alle primitive della mappa. In questo articolo, applichiamo il concetto alle primitive planari con PGGT, la rete Primitive-Grounded Geometry Transformer. Data una singola immagine di query e un insieme di primitive planari della mappa, la rete viene addestrata a prevedere più target di localizzazione per la localizzazione feed-forward della camera a 6 DoF, generalizzando ad ambienti mai visti. Grazie a questa architettura semplice e scalabile, il nostro metodo fa avanzare le prestazioni di localizzazione allo stato dell’arte sia sulle mappe dense di superfici sia sui modelli minimali di layout. Il codice e i modelli sono disponibili all’indirizzo https://github.com/3dv-casia/PGGT-Loc