OmniFabric: sintesi di texture coerenti nello spazio UV per la ricostruzione di capi 3D

Abstract degli autori

La generazione automatica di risorse 3D di capi d’abbigliamento pronte per la produzione a partire da una singola immagine è una sfida centrale nella creazione di contenuti digitali. Sebbene i recenti modelli generativi abbiano fatto notevoli passi avanti nella ricostruzione della geometria 3D, la sintesi di texture di alta qualità resta un collo di bottiglia. I metodi esistenti spesso incorporano direttamente nella mappa delle texture l’illuminazione ambientale e le ombre, oppure non riescono a mantenere una coerenza strutturale globale, rendendo le risorse ottenute inutilizzabili per la simulazione fisica e il relighting. In questo lavoro presentiamo OmniFabric, un nuovo approccio che sintetizza mappe di texture globalmente coerenti direttamente nello spazio 2D dei cartamodelli. Data una singola immagine di riferimento, la nostra pipeline utilizza una mesh 3D stimata e i priori generativi di potenti modelli visione-linguaggio (VLM) per creare un’inizializzazione completa ma approssimativa delle texture su tutti i cartamodelli distesi. Sfruttiamo quindi un transformer di diffusione specializzato, addestrato tramite un motore automatizzato per la generazione di dati sintetici e condizionato da caratteristiche posizionali 3D, per perfezionare questa inizializzazione direttamente nel dominio UV canonico. In questo modo si eliminano distorsioni e artefatti incorporati, ottenendo una mappa delle texture pulita e normalizzata che preserva il design originale del capo. Esperimenti approfonditi dimostrano che OmniFabric supera nettamente i metodi di riferimento allo stato dell’arte, generando capi 3D fotorealistici con texture di alta qualità.