MCSplat: Gaussian splatting feed-forward con coerenza fotometrica e geometrica tra più viste per scene di guida

Abstract degli autori

La ricostruzione di scene di guida mediante Gaussian splatting feed-forward a partire da poche immagini acquisite da più viste resta difficile per due ragioni. In primo luogo, l’incoerenza fotometrica tra fotocamere, dovuta a differenze di esposizione, ISP e illuminazione, può essere erroneamente assorbita nella geometria delle Gaussiane. In secondo luogo, i vincoli basati sulle normali in prossimità delle discontinuità di profondità rendono inaffidabile la supervisione geometrica locale. Per affrontare questi problemi, presentiamo \textbf{MCSplat}, un framework di Gaussian splatting feed-forward coerente tra più viste per scene di guida. MCSplat costruisce uno spazio canonico dell’aspetto visivo a partire da corrispondenze tra fotocamere guidate dalla profondità, così da separare l’apprendimento della geometria dall’aspetto specifico di ciascuna fotocamera. Un Bilateral Grid Transformer multiscala ripristina l’aspetto originale delle riprese delle fotocamere a partire dai rendering canonici, consentendo la supervisione fotometrica senza alterare la geometria delle Gaussiane. Per rendere più affidabile la geometria locale, stimiamo l’incertezza basata sull’informazione di Fisher a partire dalla sensibilità fotometrica e la usiamo per ponderare in modo adattivo l’autosupervisione orientata alle superfici. Esperimenti approfonditi mostrano una migliore qualità della ricostruzione e una maggiore capacità di generalizzazione tra diversi dataset di scene di guida. Le valutazioni incentrate sulla geometria evidenziano inoltre una maggiore coerenza della profondità tra viste e una migliore concordanza locale delle normali alle superfici, mentre i risultati qualitativi mostrano meno artefatti geometrici e strutture più coerenti tra viste sovrapposte.