InfiniSplat v2: analisi e miglioramento della 3DGS feed-forward a partire da qualsiasi vista

Abstract degli autori

La ricostruzione gaussiana feed-forward genera scene 3D direttamente dalle immagini di input per renderizzare nuove viste, ma apprendere gli attributi delle gaussiane dalla geometria stimata, così da ottenere rendering di alta qualità anche con ampi cambiamenti del punto di vista, resta difficile. Analizziamo i limiti dell’apprendimento di questi attributi e presentiamo InfiniSplat v2, che migliora la qualità del rendering attraverso modifiche all’architettura e all’addestramento. Il nostro metodo separa la stima della geometria da quella degli attributi mediante un ramo dedicato alla geometria con parametri bloccati, allinea le gaussiane stimate usando le pose effettive delle fotocamere durante l’addestramento e adotta una supervisione basata su viste di destinazione con ampie differenze angolari. Su sei dataset, gli output feed-forward dello stesso modello addestrato ottengono i migliori valori medi di LPIPS e DISTS tra i metodi valutati, sia con condizionamento sulle pose sia senza pose. Nel caso con condizionamento sulle pose, i valori medi di LPIPS e DISTS diminuiscono rispettivamente del 25,8% e del 32,9% rispetto ai migliori metodi di riferimento valutati. Riscontriamo inoltre che l’opacità appresa con la sola supervisione basata sulla ricostruzione delle immagini sopprime i punti geometricamente incoerenti. Pagina del progetto: https://zju3dv.github.io/InfiniSplat2/