VisibilitySplat: occlusione con ray tracing per il relighting con 3D Gaussian Splatting

Abstract degli autori

Affrontiamo il rendering inverso con 3D Gaussian Splatting (3DGS) introducendo un modello esplicito della visibilità per il relighting e la scomposizione dei materiali e dell’illuminazione. Il nostro approccio integra la pipeline standard di 3DGS basata sulla rasterizzazione con un oracolo della visibilità interrogato in modo sporadico, che stima l’occlusione ponderata per la trasmittanza delle primitive gaussiane a partire da direzioni di illuminazione campionate. L’oracolo è implementato mediante un ray tracer basato su punti, accelerato da una gerarchia di volumi delimitanti (BVH), ed è interrogato in modo sporadico nell’ambito degli obiettivi di rendering inverso. Il ciclo originale di 3DGS viene invece mantenuto per garantire efficienza nell’addestramento, visualizzazione interattiva e compatibilità con gli strumenti esistenti. Il calcolo dell’ombreggiatura segue una formulazione di rendering basato sulla fisica (PBR), con una funzione di distribuzione della riflettanza bidirezionale (BRDF) a microfaccette fondata su principi fisici e mappe ambientali a bassa risoluzione e alta gamma dinamica (HDR). Valutiamo il nostro metodo sul dataset sintetico TensoIR, confrontandolo con metodi di riferimento basati su campi di radianza neurali (NeRFs), rappresentazioni tensoriali e 3DGS. I risultati mostrano prestazioni competitive e miglioramenti rispetto a diversi metodi di riferimento precedenti nella sintesi di nuove viste (NVS), nella ricostruzione dell’albedo e nel relighting. Gli studi di ablazione indicano che il modello esplicito della visibilità contribuisce in modo importante al relighting e alla separazione tra materiali e illuminazione, mentre una supervisione basata esclusivamente sul PBR può favorire l’adattamento all’aspetto nella NVS. Nel complesso, i risultati suggeriscono che le interrogazioni sporadiche della visibilità basate su punti integrano efficacemente lo splatting rasterizzato per il rendering inverso, preservando al contempo i vantaggi pratici dell’ecosistema 3DGS.