SUPRA-TEX: generazione 3D con texture superallineate

Abstract degli autori

La generazione 3D da una singola immagine mira a rivestire una mesh 3D data con materiali che possano essere illuminati nuovamente, preservando fedelmente i dettagli visivi di un’immagine di riferimento. I metodi esistenti introducono artefatti quando fondono previsioni incoerenti da più punti di vista, oppure faticano a preservare i dettagli più fini quando si basano implicitamente sulle caratteristiche dell’immagine. Per affrontare queste difficoltà, presentiamo SUPRA-Tex, basato sulla separazione tra stima dei materiali visibili, allineamento alla superficie e completamento 3D guidato dall’osservazione. Questa divisione dei compiti consente al generatore 3D, addestrato con una quantità limitata di dati 3D, di concentrare le proprie capacità sulla preservazione degli elementi visibili e sul completamento delle superfici non osservate. In particolare, addestriamo innanzitutto un modello di editing delle immagini basato su un MLLM a prevedere mappe PBR separate dall’illuminazione nella vista di riferimento. Proiettiamo poi queste mappe sulla superficie visibile e le codifichiamo con l’encoder VAE dei materiali preaddestrato, ottenendo rappresentazioni latenti native dell’osservazione che condividono lo spazio latente dell’obiettivo di generazione. Un transformer di flusso intercalato mantiene queste rappresentazioni latenti come ancore fisse, di sola lettura, alternando aggiornamenti delle regioni non osservate e dell’intera superficie per generare rappresentazioni latenti complete dei materiali. Questa architettura raggiunge un superallineamento con il riferimento: nelle regioni visibili offre una fedeltà per cui ciò che si vede è ciò che si ottiene, e completa in modo coerente le superfici non osservate. Addestrato esclusivamente su dataset pubblici, SUPRA-Tex raggiunge prestazioni SOTA sia nella creazione di texture condizionata dalla geometria sia nella generazione end-to-end di asset, eguagliando o persino superando i principali sistemi commerciali su immagini acquisite in contesti reali. Pagina del progetto: https://supra-3d.github.io/supratex/