Spectral World Renderer: unmixing iperspettrale 3D unificato

Abstract degli autori

Le fotocamere e i modelli fondazionali costruiti a partire dalle loro immagini riconoscono che cosa contiene una scena 3D, ma non di che cosa è fatta: superfici dello stesso colore possono essere composte da materiali diversi. L’unmixing iperspettrale descrive ogni spettro come una miscela di firme spettrali dei materiali. In 3D, però, viene applicato alle immagini renderizzate dopo la composizione delle viste, oppure è legato a campi impliciti lenti; inoltre, non esistono dati multivista con una composizione nota con cui verificare il risultato. Presentiamo Spectral World Renderer (SWR), che unifica la generazione dei mondi e l’unmixing. Un agente di programmazione costruisce mondi 3D eseguibili, renderizzati usando spettri misurati: ogni immagine iperspettrale è quindi accompagnata da etichette esatte e proporzioni subpixel. Il benchmark risultante, SWR-Bench, comprende otto mondi in ambienti interni ed esterni nei quali è possibile verificare le decomposizioni. SWR esegue poi l’unmixing durante il rendering: ogni gaussiana di una rappresentazione 3D compatta viene decodificata nelle abbondanze dei materiali prima della composizione. Un singolo rendering produce così spettri e mappe dei materiali, ed è possibile interrogare qualsiasi superficie indicando il nome di un materiale, facendo clic su un pixel o fornendo uno spettro di riferimento. Senza etichette dei materiali, SWR identifica i materiali meglio degli altri metodi in tutti e otto i mondi, ottiene il miglior PSNR medio sulle acquisizioni reali, si addestra da 3,7 a 12,9 volte più rapidamente dei metodi di riferimento per l’unmixing, renderizza 34,9 viste etichettate/s e distingue materiali dello stesso colore.