UltraTex: sbloccare la diffusione multi-view a 2K per la texturizzazione 3D

Abstract degli autori

La generazione di texture di alta qualità è essenziale per creare risorse 3D realistiche e pronte per la produzione. I recenti metodi di diffusione multi-view hanno dato risultati promettenti nella texturizzazione 3D guidata da immagini, ma sono in genere limitati a risoluzioni operative basse, come 512 o 768, rendendo difficile preservare i dettagli ad alta frequenza delle immagini di riferimento ad alta risoluzione. Portare questo paradigma a una risoluzione di 2048 è proibitivo dal punto di vista computazionale, poiché la sequenza multi-view unificata supera i 212K token e comporta un consumo eccessivo di memoria e una latenza elevata. In questo lavoro presentiamo UltraTex, un framework efficiente end-to-end per la texturizzazione 3D ad alta risoluzione basata sulla diffusione multi-view. La nostra osservazione principale è che i rendering multi-view incentrati sugli oggetti presentano due importanti fonti di ridondanza: la ridondanza nella sequenza dovuta allo sfondo e le interazioni sparse tra i token all’interno del primo piano. Per affrontare questi problemi, introduciamo Background Token Dropping, che rimuove i token dello sfondo prima del backbone DiT, e Block-Sparse Attention, che riduce il calcolo dell’attenzione sulla sequenza del primo piano mantenuta. Per consentire un’inferenza efficiente limitata al primo piano ed evitare artefatti di ricostruzione, progettiamo inoltre Foreground-Aware VAE Decoding, che garantisce la qualità delle viste finali ad alta risoluzione. Per soddisfare gli elevati requisiti di dati dell’addestramento alla diffusione multi-view a risoluzione 2K, realizziamo G-buffer TexVerse, un dataset di rendering multi-view su larga scala e ad altissima risoluzione, che comprende oltre 268.000 risorse 3D. Gli esperimenti su larga scala mostrano che UltraTex genera texture visivamente fedeli e ricche di dettagli minuziosi, migliorando notevolmente l’efficienza: sui campioni comuni del nostro dataset, raggiunge un’accelerazione dell’addestramento di $20.6\times$--$91.1\times$ e un’accelerazione dell’inferenza end-to-end di $22.3\times$--$74.6\times$ rispetto al modello di riferimento. Codice e dati sono disponibili all’indirizzo https://yiboz2001.github.io/UltraTex.