X-Splat: splatting gaussiano unificato per la ricostruzione 3D congiunta RGB e a raggi X

Abstract degli autori

La ricostruzione congiunta RGB e a raggi X offre nuove prospettive collegando l’aspetto esteriore alla struttura interna, e permette di comprendere gli oggetti reali più a fondo di quanto sia possibile con una sola modalità. I metodi esistenti, però, addestrano modelli separati per ciascuna modalità e presentano geometrie ridondanti, artefatti di allineamento e una scarsa integrazione che limita la scoperta di informazioni attraverso le diverse modalità. Proponiamo una rappresentazione unificata in cui tutte le primitive gaussiane condividono un unico insieme di parametri geometrici, mentre solo quelle prossime alla superficie possiedono anche attributi relativi all’aspetto. Per registrare le due modalità usiamo una stereoscopia multivista pulita e proxy geometrici a raggi X, anziché allineare due insiemi di gaussiane ottimizzate, migliorando così la stabilità dell’allineamento. Ottimizziamo poi congiuntamente la rappresentazione unificata mediante la supervisione di entrambe le modalità, integrata da una funzione di perdita per la coerenza della profondità della superficie, derivata dalla geometria a raggi X, che guida la ricostruzione RGB. Gli esperimenti sul dataset InsideOut e sul nostro dataset Flower & Insect mostrano che il nostro framework ottiene un allineamento tra modalità più robusto, una qualità di rendering RGB superiore senza compromettere la ricostruzione a raggi X e una rappresentazione più compatta rispetto al mantenimento di due geometrie indipendenti.