AffineGS: ottenere una geometria accurata in 3DGS tramite una rettifica affine variabile nello spazio

Abstract degli autori

Il 3D Gaussian Splatting (3DGS) è diventato l’approccio principale per la sintesi fotorealistica di nuove viste, ma la sua accuratezza geometrica è inferiore alla qualità visiva. I metodi esistenti guidati dalla profondità cercano di risolvere il problema regolarizzando l’ottimizzazione con prior di profondità monoculare, in genere tramite un unico allineamento globale di scala e traslazione. In particolare, scopriamo un difetto di fondo in questa ipotesi: le moderne reti di profondità monoculare presentano sistematicamente distorsioni lineari a tratti, dipendenti dalla regione. Questa scoperta invalida le strategie standard di allineamento globale, che deformano la geometria della scena imponendo un’unica trasformazione. Per affrontare il problema, introduciamo un modello di rettifica affine variabile nello spazio che corregge la disparità monoculare trasformandola in una profondità metrica coerente, mediante campi localmente regolari e sensibili ai bordi. Deriviamo inoltre un regolarizzatore che tiene conto delle normali e usa gradienti spaziali per collegare la disparità rettificata alla profondità e alle normali di 3DGS. In diverse configurazioni sperimentali, il nostro metodo senza sensori mostra un’elevata qualità fotometrica del Gaussian Splatting, migliorando al contempo in modo sostanziale l’accuratezza geometrica e superando i metodi all’avanguardia incentrati sulla geometria.