Ricostruzione 3D georeferenziata cross-view da immagini terrestri e satellitari

Abstract degli autori

La ricostruzione 3D georeferenziata a partire da immagini terrestri richiede di recuperare non solo la geometria locale della scena, ma anche di localizzare ogni centro di camera e ogni punto 3D in un sistema di coordinate geografiche. I metodi esistenti di geolocalizzazione cross-view sono in grado di stimare le coordinate GPS di una singola camera a terra, ma non ricostruiscono una geometria 3D densa, mentre i recenti modelli feed-forward per la ricostruzione 3D multi-vista prevedono mappe di punti e pose delle camere solo in un sistema di coordinate locale. Presentiamo X-VGGT, un trasformatore geometrico cross-view feed-forward che unifica questi compiti elaborando congiuntamente un insieme di immagini a livello del suolo e un’immagine satellitare georeferenziata, per prevedere le pose delle camere nella vista da terra, mappe dense di punti 3D e una trasformazione a livello di scena parametrizzata da gravità, scala, imbardata e traslazione. Questa trasformazione proietta la ricostruzione locale sul piano satellitare, georeferenziando così tutte le immagini da terra rispetto all’immagine satellitare georeferenziata. Proponiamo inoltre un protocollo di valutazione per questo compito congiunto e mostriamo che, su più dataset cross-view, X-VGGT produce ricostruzioni georeferenziate accurate e supera i precedenti modelli di geolocalizzazione cross-view e di ricostruzione 3D multi-vista.