Aller au contenu
AI.info

Recherche

Direct3D-V3 : des transformeurs de diffusion sans espace latent dans le domaine natif des voxels

La génération 3D dans le domaine natif repose largement sur la diffusion latente, les progrès récents se concentrant sur des autoencodeurs variationnels (VAE) plus performants et des représentations…

arXiv
2611.26511
Publié
2026-11-19
Auteurs
Shuang Wu, Jiachen Qian, Youtian Lin, Feihu Zhang, Philip Torr, Yao Yao, Xun Cao

Résumé des auteurs

La génération 3D dans le domaine natif repose largement sur la diffusion latente, les progrès récents se concentrant sur des autoencodeurs variationnels (VAE) plus performants et des représentations latentes toujours plus élaborées, des vecsets et triplanes aux voxels creux structurés. Malgré leurs différences architecturales, ces méthodes reposent toutes sur le même principe : la géométrie est d’abord compressée dans un espace latent, puis modélisée par le générateur. Nous suivons une autre voie et proposons Direct3D-V3, un cadre de transformeur de diffusion (DiT) sans espace latent, qui se passe entièrement du VAE et opère dans le domaine natif des voxels en modélisant directement des grilles de voxels SDF brutes, tant pendant l’entraînement que pendant l’échantillonnage. Pour garantir la fiabilité géométrique de cette formulation directe en voxels, nous introduisons une régularisation implicite de variété appliquée aux voxels voisins afin de supprimer les surfaces non étanches, et convertissons les grilles SDF prédites en maillages à l’aide de Marching Cubes, de sorte que les pertes sur les normales rendues puissent superviser directement le modèle à partir du SDF prédit. Pour améliorer l’alignement entre l’image de conditionnement et la géométrie générée, Direct3D-V3 prédit également les paramètres de caméra de l’image de conditionnement dans le cadre d’une tâche auxiliaire, afin d’inciter le DiT à apprendre la correspondance entre les observations de l’image et la forme 3D. Cette conception sans espace latent élimine le goulot d’étranglement de la reconstruction, inscrit l’entraînement dans un objectif défini dans le domaine natif des voxels et produit des maillages présentant des détails locaux nettement plus riches. La caméra prédite et la sortie native en voxels SDF permettent en outre d’étendre Direct3D-V3 à la reconstruction générative, où la diffusion est entrelacée avec un raffinement guidé par les normales afin d’améliorer l’alignement avec la vue observée, tandis que le prior génératif complète les régions non observées. Page du projet : https://dreamtechai.github.io/Direct3D-V3.

Le résumé de cet article n’existe qu’en anglais : le lire sur la page en anglais.

Lire l’article original sur arXiv