Zum Inhalt springen
AI.info

Forschung

Direct3D-V3: Latentfreie Diffusion-Transformer im nativen Voxelbereich

Die native 3D-Generierung basiert weitgehend auf latenter Diffusion. Jüngste Fortschritte konzentrieren sich auf leistungsfähigere Variational Autoencoder (VAE) und zunehmend ausgefeilte latente…

arXiv
2611.26511
Veröffentlicht
2026-11-19
Autoren
Shuang Wu, Jiachen Qian, Youtian Lin, Feihu Zhang, Philip Torr, Yao Yao, Xun Cao

Abstract der Autoren

Die native 3D-Generierung basiert weitgehend auf latenter Diffusion. Jüngste Fortschritte konzentrieren sich auf leistungsfähigere Variational Autoencoder (VAE) und zunehmend ausgefeilte latente Repräsentationen – von Vecset und Triplanes bis hin zu strukturierten dünnbesetzten Voxeln. Trotz ihrer architektonischen Unterschiede beruht all diesen Methoden dieselbe Annahme: Die Geometrie wird zunächst in einen latenten Raum komprimiert und erst dann vom Generator modelliert. Wir schlagen einen anderen Weg ein und präsentieren Direct3D-V3, ein Framework für latenzfreie Diffusion-Transformer (DiT), das vollständig auf den VAE verzichtet und im nativen Voxelbereich arbeitet. Dabei modelliert es rohe SDF-Voxelgitter direkt – sowohl beim Training als auch beim Sampling. Um die Geometrie dieser direkten Voxel-Formulierung zuverlässig zu gestalten, führen wir eine implizite Mannigfaltigkeitsregularisierung über benachbarte Voxel ein, die nicht wasserdichte Oberflächen unterdrücken soll. Außerdem wandeln wir vorhergesagte SDF-Gitter mithilfe von Marching Cubes in Meshes um, sodass Verluste auf gerenderten Normalen das Modell direkt anhand seiner vorhergesagten SDF trainieren können. Um die Ausrichtung zwischen dem konditionierenden Bild und der generierten Geometrie zu verbessern, sagt Direct3D-V3 außerdem die Kameraparameter des konditionierenden Bildes als zusätzliche Aufgabe vorher. Dadurch soll der DiT lernen, Bildbeobachtungen auf 3D-Formen abzubilden. Dieses latenzfreie Design beseitigt den Rekonstruktionsengpass, verankert das Training in einem Zielfunktionsansatz im nativen Voxelbereich und erzeugt Meshes mit deutlich reichhaltigeren lokalen Details. Die vorhergesagte Kamera und die native SDF-Voxelausgabe machen Direct3D-V3 zudem für generative Rekonstruktionen erweiterbar: Dabei wechselt sich Diffusion mit normalengeleiteter Verfeinerung ab, um die Ausrichtung an der beobachteten Ansicht zu verbessern, während der generative Prior nicht sichtbare Bereiche vervollständigt. Projektseite: https://dreamtechai.github.io/Direct3D-V3.

Die Zusammenfassung dieses Papers gibt es nur auf Englisch: auf der englischen Seite lesen.

Das Originalpaper auf arXiv lesen