T3lescope: ricostruzione generativa ad alta fedeltà di superfici a risoluzione arbitraria a partire da immagini

Abstract degli autori

Ricostruiamo mesh 3D ad alta fedeltà di scene a partire da immagini multivista con pose note, senza ottimizzazione per singola scena, su scale che vanno dai singoli oggetti alle grandi scene all’aperto. I metodi basati sull’ottimizzazione per singola scena non dispongono delle conoscenze a priori sul 3D apprese da un modello, necessarie quando le osservazioni sono scarse o le superfici sono lucide o trasparenti. I metodi generativi esistenti sfruttano queste conoscenze per completare la geometria nelle regioni poco osservate, ma in genere operano a risoluzione fissa su un’estensione spaziale limitata, sacrificando il dettaglio a favore della copertura spaziale o viceversa. Ricostruire una scena di grandi dimensioni richiede quindi spesso di suddividerla in regioni locali sovrapposte, elaborate in modo indipendente, rendendo difficile mantenere la coerenza geometrica globale. Per affrontare questi problemi proponiamo T3lescope, che applica un unico generatore a risoluzione fissa a diverse scale della scena, in una cascata dal grossolano al fine durante l’inferenza. Un livello grossolano definisce la disposizione della scena; i livelli più fini modificano e rimuovono il rumore dalla geometria ereditata dal livello più grossolano, all’interno di celle spaziali progressivamente più fini, per recuperare i dettagli delle superfici. Il modello viene addestrato su singole celle a più scale e condivide gli stessi pesi tra tutti i livelli: durante l’addestramento non viene quindi fissata alcuna gerarchia, mentre il numero di livelli, le scale e le posizioni delle celle sono determinati durante l’inferenza. Su scene di interni, all’aperto e su scala urbana, T3lescope supera i metodi di riferimento feed-forward e generativi, eguaglia o supera l’ottimizzazione per singola scena e recupera strutture fini, oltre a superfici lucide e trasparenti. Questi risultati mostrano che il nostro metodo generalizza a scene diverse, con numeri di viste e risoluzioni delle immagini differenti. Pagina del progetto: https://pfnet-research.github.io/t3lescope/