Anchor3DGS: 3D Gaussian Splatting feed-forward con una rappresentazione compatta basata su ancore

Abstract degli autori

I recenti metodi di 3D Gaussian Splatting (3DGS) feed-forward hanno reso possibile un’efficace ricostruzione 3D da più viste, prevedendo le primitive gaussiane in un’unica passata. Gli approcci esistenti, tuttavia, adottano prevalentemente un paradigma allineato ai pixel, che prevede una gaussiana per ogni pixel in ingresso e lega così il numero di gaussiane alla risoluzione delle immagini in ingresso e al numero di viste. Questo produce anche primitive ridondanti nelle regioni prive di texture e una copertura insufficiente nelle aree geometricamente complesse. Presentiamo Anchor3DGS, un framework 3DGS feed-forward che non richiede informazioni sulla posa e sostituisce la previsione allineata ai pixel con una rappresentazione compatta basata su ancore. Guidato dall’entropia dell’informazione, il nostro metodo colloca un insieme di ancore 3D nella scena, concentrandole nelle regioni di maggiore complessità visiva e mantenendo al contempo un’ampia copertura spaziale. Ogni ancora aggrega le caratteristiche delle immagini da più viste tenendo conto delle occlusioni, scambia informazioni con le altre ancore e viene decodificata in un insieme di gaussiane locali. Un modulo leggero di miglioramento delle caratteristiche perfeziona ulteriormente l’output RGB approssimativo prodotto dal Gaussian splatting e aumenta la fedeltà della resa. Numerosi esperimenti su diversi dataset benchmark dimostrano che Anchor3DGS raggiunge una qualità della sintesi di nuove viste allo stato dell’arte, utilizzando un numero di primitive gaussiane inferiore di un ordine di grandezza.