Verso la ricostruzione di architetture geograficamente diverse con modelli fondazionali 3D

Abstract degli autori

Le raccolte di foto di punti di riferimento architettonici del mondo reale, su scala Internet, hanno favorito i progressi della computer vision 3D, ma restano una sfida notevole per i moderni modelli fondazionali 3D (3DFM), che stimano la struttura di una scena in un unico passaggio feed-forward. In questo lavoro presentiamo ArchWorld, un benchmark di punti di riferimento architettonici 3D con un’ampia copertura geografica e metadati dettagliati. Usiamo questo benchmark per condurre un’analisi approfondita degli errori degli attuali 3DFM, così da capire dove non sono all’altezza e come migliorarli. Esaminiamo le disparità nell’errore dei modelli rilevanti sul piano sociale e osserviamo che le prestazioni variano a seconda della regione geografica; tuttavia, a differenza di quanto avviene nei tipici regimi di equità, le tendenze corrispondono solo in parte alla rappresentazione nei dati di addestramento. La nostra indagine rivela che le disparità geografiche osservate riflettono non solo differenze nella rappresentazione dei dati e nelle dimensioni delle scene, ma anche differenze nelle caratteristiche architettoniche specifiche di ciascuna regione e nei distrattori sullo sfondo, che fanno sì che la difficoltà delle scene vari intrinsecamente da una regione all’altra. Sulla base di quanto emerso dai limiti di questi modelli, presentiamo uno schema di intervento che migliora le prestazioni dei 3DFM e, al contempo, riduce le disparità geografiche.