Ir al contenido
AI.info

Investigación

Direct3D-V3: transformadores de difusión sin espacio latente en el dominio nativo de vóxeles

La generación 3D nativa se ha basado en gran medida en la difusión latente, y los avances recientes se han centrado en autoencoders variacionales (VAE) más potentes y representaciones latentes cada…

arXiv
2611.26511
Publicado
2026-11-19
Autores
Shuang Wu, Jiachen Qian, Youtian Lin, Feihu Zhang, Philip Torr, Yao Yao, Xun Cao

Resumen de los autores

La generación 3D nativa se ha basado en gran medida en la difusión latente, y los avances recientes se han centrado en autoencoders variacionales (VAE) más potentes y representaciones latentes cada vez más elaboradas, desde vecset y triplanes hasta vóxeles dispersos estructurados. Pese a sus diferencias arquitectónicas, todos estos métodos comparten la misma premisa: primero se comprime la geometría en un espacio latente y solo entonces la modela el generador. Nosotros adoptamos otro enfoque y proponemos Direct3D-V3, un marco de transformador de difusión (DiT) sin espacio latente que prescinde por completo del VAE y opera en el dominio nativo de vóxeles, modelando directamente cuadrículas de vóxeles SDF sin procesar tanto durante el entrenamiento como durante el muestreo. Para que esta formulación directa con vóxeles sea geométricamente fiable, introducimos una regularización implícita de variedad entre vóxeles vecinos para suprimir las superficies no estancas, y convertimos las cuadrículas SDF predichas en mallas mediante Marching Cubes, de modo que las pérdidas de normales renderizadas puedan supervisar el modelo directamente a partir del SDF predicho. Para mejorar la alineación entre la imagen de condicionamiento y la geometría generada, Direct3D-V3 también predice los parámetros de cámara de esa imagen como tarea auxiliar, lo que anima al DiT a aprender la correspondencia entre las observaciones de imagen y la forma 3D. Este diseño sin espacio latente elimina el cuello de botella de la reconstrucción, establece el entrenamiento en torno a un objetivo definido en el dominio nativo de vóxeles y produce mallas con detalles locales mucho más ricos. La cámara predicha y la salida nativa de vóxeles SDF también hacen que Direct3D-V3 sea extensible a la reconstrucción generativa, en la que la difusión se intercala con un refinamiento guiado por normales para mejorar la alineación con la vista observada, mientras el prior generativo completa las regiones no observadas. Página del proyecto: https://dreamtechai.github.io/Direct3D-V3.

El resumen de este paper solo está disponible en inglés: léelo en la página en inglés.

Leer el paper original en arXiv