Ricerca
Direct3D-V3: transformer di diffusione senza latenti nel dominio nativo dei voxel
La generazione 3D nativa si è basata in larga misura sulla diffusione latente, e i progressi recenti si sono concentrati su autoencoder variazionali (VAE) più potenti e rappresentazioni latenti…
- arXiv
- 2611.26511
- Pubblicato
- 2026-11-19
- Autori
- Shuang Wu, Jiachen Qian, Youtian Lin, Feihu Zhang, Philip Torr, Yao Yao, Xun Cao
Abstract degli autori
La generazione 3D nativa si è basata in larga misura sulla diffusione latente, e i progressi recenti si sono concentrati su autoencoder variazionali (VAE) più potenti e rappresentazioni latenti sempre più elaborate, dai vecset e dalle triplane ai voxel sparsi strutturati. Nonostante le differenze architetturali, questi metodi condividono tutti la stessa premessa: la geometria viene prima compressa in uno spazio latente e solo in seguito modellata dal generatore. Seguiamo una strada diversa e proponiamo Direct3D-V3, un framework basato su un transformer di diffusione (DiT) senza latenti, che elimina del tutto il VAE e opera nel dominio nativo dei voxel, modellando direttamente griglie voxel SDF grezze sia durante l’addestramento sia durante il campionamento. Per rendere geometricamente affidabile questa formulazione diretta basata sui voxel, introduciamo una regolarizzazione implicita della varietà sui voxel vicini per sopprimere le superfici non watertight e convertiamo le griglie SDF previste in mesh tramite Marching Cubes, così che le perdite sulle normali renderizzate possano supervisionare direttamente il modello a partire dalle SDF previste. Per migliorare l’allineamento tra l’immagine di condizionamento e la geometria generata, Direct3D-V3 prevede anche i parametri della fotocamera dell’immagine di condizionamento come compito ausiliario, incoraggiando il DiT ad apprendere la corrispondenza tra le osservazioni dell’immagine e la forma 3D. Questo design senza latenti elimina il collo di bottiglia della ricostruzione, riconduce l’addestramento a un obiettivo nel dominio nativo dei voxel e produce mesh con dettagli locali notevolmente più ricchi. La fotocamera prevista e l’output nativo in voxel SDF rendono inoltre Direct3D-V3 estendibile alla ricostruzione generativa, in cui la diffusione si alterna a un raffinamento guidato dalle normali per migliorare l’allineamento con la vista osservata, mentre il prior generativo completa le regioni non visibili. Pagina del progetto: https://dreamtechai.github.io/Direct3D-V3.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv