FineSplat: patch fini, gruppi locali, splat dettagliati

Abstract degli autori

Il 3D Gaussian Splatting (3DGS) feed-forward promette una ricostruzione istantanea delle scene e una sintesi di nuove viste di alta qualità. Recuperare geometria e aspetto nei dettagli resta però difficile: per questo riesaminiamo il modo in cui i modelli feed-forward rappresentano, aggregano e perfezionano le informazioni visive dettagliate. Presentiamo FineSplat, un framework 3DGS feed-forward basato su patch di immagini a grana fine. Poiché l’attenzione globale multivista diventa proibitivamente costosa con una risoluzione dei token così elevata, sviluppiamo una strategia di raggruppamento doppia che combina due forme complementari di località: il raggruppamento per vista consente interazioni efficienti tra viste vicine, mentre il raggruppamento spaziale 3D, proiettando i token nello spazio tridimensionale della scena, mette in relazione quelli geometricamente correlati che potrebbero non aver mai interagito nel raggruppamento per vista. Sfruttiamo inoltre l’errore di ricostruzione come feedback diretto, fornendo un segnale esplicito basato sul rendering per recuperare strutture e aspetto nei dettagli e superare così i limiti della previsione feed-forward in un solo passaggio. Infine, uno schema compatto di generazione delle gaussiane conserva i vantaggi delle caratteristiche a grana fine senza aumentare inutilmente il numero di primitive. Nel complesso, queste soluzioni consentono a FineSplat di recuperare una geometria e un aspetto più ricchi, mantenendo efficienza e compattezza, e di ottenere risultati nettamente superiori allo stato dell’arte con un budget di gaussiane pari o inferiore a quello dei metodi esistenti.