Pesquisa
Direct3D-V3: transformers de difusão sem espaço latente no domínio nativo de voxels
A geração 3D nativa foi construída, em grande parte, em torno da difusão latente, com avanços recentes concentrados em autoencoders variacionais (VAE) mais robustos e representações latentes cada vez…
- arXiv
- 2611.26511
- Publicado
- 2026-11-19
- Autores
- Shuang Wu, Jiachen Qian, Youtian Lin, Feihu Zhang, Philip Torr, Yao Yao, Xun Cao
Resumo dos autores
A geração 3D nativa foi construída, em grande parte, em torno da difusão latente, com avanços recentes concentrados em autoencoders variacionais (VAE) mais robustos e representações latentes cada vez mais elaboradas, de vecset e triplanes a voxels esparsos estruturados. Apesar das diferenças arquiteturais, todos esses métodos compartilham a mesma premissa: primeiro, a geometria é comprimida em um espaço latente e, só então, modelada pelo gerador. Seguimos outro caminho e propomos o Direct3D-V3, uma estrutura de transformer de difusão (DiT) sem espaço latente que elimina completamente o VAE e opera no domínio nativo de voxels, modelando diretamente grades de voxels SDF brutas durante o treinamento e a amostragem. Para tornar essa formulação direta com voxels geometricamente confiável, introduzimos uma regularização implícita de variedade entre voxels vizinhos para suprimir superfícies não estanques e convertemos as grades SDF previstas em malhas usando Marching Cubes, para que perdas de normais renderizadas possam supervisionar o modelo diretamente a partir do SDF previsto. Para melhorar o alinhamento entre a imagem de condicionamento e a geometria gerada, o Direct3D-V3 também prevê os parâmetros da câmera da imagem de condicionamento como uma tarefa auxiliar, incentivando o DiT a aprender o mapeamento das observações da imagem para a forma 3D. Esse design sem espaço latente elimina o gargalo da reconstrução, submete o treinamento a um objetivo definido no domínio nativo de voxels e produz malhas com detalhes locais substancialmente mais ricos. A câmera prevista e a saída nativa de voxels SDF também tornam o Direct3D-V3 extensível à reconstrução generativa, na qual a difusão é intercalada com refinamento guiado por normais para melhorar o alinhamento com a vista observada, enquanto o prior generativo completa as regiões não observadas. Página do projeto: https://dreamtechai.github.io/Direct3D-V3.
O resumo deste paper está disponível apenas em inglês: leia na página em inglês.
Ler o paper original no arXiv