Luce: gaussiane riilluminabili per la generazione di asset 3D

Abstract degli autori

La generazione di modelli 3D ad alta fedeltà a partire da immagini richiede una rappresentazione 3D che catturi sia la geometria sia l’aspetto. Per consentire di illuminare nuovamente gli asset e integrarli nelle pipeline di rendering standard, la rappresentazione dovrebbe includere modalità di rendering basato sulla fisica (PBR), come albedo, metallicità-rugosità e normali di superficie. Proponiamo Luce, una rappresentazione 3D che unifica geometria e materiali PBR in una nuvola voxelizzata di gaussiane multimodali, usando primitive gaussiane dedicate a ciascuna modalità. Un autoencoder variazionale comprime questa rappresentazione in uno spazio latente unificato che tiene conto dei materiali. Un transformer a flusso rettificato genera questo spazio latente a partire da una singola immagine, condizionato da caratteristiche estratte da più livelli di un encoder di immagini preaddestrato, che preservano sia il contesto semantico sia i dettagli spaziali più fini. Lo spazio latente viene poi decodificato in gaussiane PBR riilluminabili e, facoltativamente, in una mesh con texture e una mappa delle normali nello spazio tangente. Su Toys4K, Luce raggiunge lo stato dell’arte nella generazione 3D da una singola immagine, migliorando il FID del 28% rispetto alla baseline più forte. Introduciamo inoltre un benchmark di immagini generate dall’IA, sul quale Luce migliora il punteggio CLIP di allineamento con l’immagine rispetto alla migliore baseline (0,8519 contro 0,8299). Luce genera asset riilluminabili, geometricamente accurati e fedeli nei materiali, che preservano dettagli fini come testi, loghi e iscrizioni.