The Pulse
AMD veröffentlicht Nitro-P zur Bildgenerierung im Pixelraum
AMD hat Nitro-P veröffentlicht, ein Text-zu-Bild-Framework, das Bilder im Pixelraum generiert, ohne einen separaten Decoder für einen Variational Autoencoder zu verwenden. Das Unternehmen veröffentlichte außerdem Modellgewichte und Trainingscode und gab Durchsatz- und Benchmark-Ergebnisse für das Modell bekannt.

AMD hat Nitro-P veröffentlicht, ein Text-zu-Bild-Framework, das Bilder direkt im Pixelraum generiert, ohne einen separaten Decoder für einen Variational Autoencoder zu verwenden. Das Framework baut auf dem früheren Modell Nitro-E des Unternehmens auf, das in einem komprimierten latenten Raum arbeitet, wie aus einem Beitrag vom 20. November im ROCm-Blog von AMD hervorgeht. Das Unternehmen veröffentlichte außerdem Modellgewichte und den vollständigen Trainingscode.
Vom Text zu Pixeln
Diffusionssysteme im latenten Raum komprimieren Bilder typischerweise zunächst zu einer niedrigerdimensionalen Repräsentation, bevor sie die Diffusion durchführen. Anschließend wandeln sie die generierte Repräsentation mithilfe des Decoders eines Variational Autoencoders, kurz VAE, wieder in ein RGB-Bild um. Nitro-P arbeitet stattdessen direkt im Pixelraum und entfernt diesen Decoder aus der Inferenz-Pipeline.
AMD zufolge ist der Verzicht auf den Dekodierungsschritt besonders relevant, wenn ein Modell ein Bild in nur wenigen Schritten generiert. Das Unternehmen weist außerdem darauf hin, dass die Generierung im latenten Raum davon abhängt, welche visuellen Informationen der Autoencoder während der Komprimierung beibehält.
Das neue Framework verteilt die Arbeit auf eine Komponente, die die Bildstruktur in Patches modelliert, und einen leichtgewichtigen U-Net-Decoder, der Pixel rekonstruiert. Damit wird die direkte Vorhersage von Pixelwerten anhand von Patch-Tokens mit anschließender Zusammensetzung zu einem Bild ersetzt.
Umgang mit Patch-Grenzen
Die Komponente auf Patch-Ebene baut auf dem E-MMDiT-Design von Nitro-E auf. Sie verarbeitet 16-mal-16-RGB-Patches und erzeugt eine grobe semantische Merkmalskarte mit einem Sechzehntel der Auflösung. Für die Textkonditionierung werden Merkmale von Qwen3-1.7B verwendet, die projiziert und verfeinert werden, bevor sie in die gemeinsame Attention eingehen.
AMD zufolge kann die direkte Vorhersage anhand von Patch-Tokens sichtbare Artefakte hervorrufen. Bei einem destillierten Modell, das das endgültige Bild in einem einzigen Durchlauf generiert, beobachtete das Unternehmen ein stärker ausgeprägtes Problem. Auch die unabhängige Dekodierung von Patches kann sichtbare Nähte an den Übergängen hinterlassen.
Nitro-P verwendet für die gemeinsame Dekodierung ein U-Net für das gesamte Bild, statt jeden Patch einzeln zu rekonstruieren. Der Decoder rekonstruiert die RGB-Geschwindigkeit in voller Auflösung mithilfe mehrskaliger Faltungen und Skip Connections. Im Vergleich des Unternehmens traten bei der gemeinsamen Dekodierung deutlich weniger sichtbare Patch-Artefakte auf als bei der unabhängigen Dekodierung.
Struktur und Details verbinden
Das Framework überträgt Informationen von seinem Modell auf Patch-Ebene an den Decoder auf Pixelebene – durch das, was AMD als modulationsgesteuerte semantische Einspeisung bezeichnet. Bei diesem modulationsgesteuerten Ansatz wird die Merkmalskarte in räumlich variierende Skalierungs- und Verschiebungsparameter projiziert, die die Aktivierungen am U-Net-Bottleneck verändern.
Die Forschenden verglichen diese Methode mit einer Baseline, bei der die Merkmale der beiden Komponenten direkt miteinander verkettet werden. Bei identischen Trainings- und Inferenzbedingungen lieferte der modulationsgesteuerte Ansatz AMD zufolge genauere Objektfarben und -anzahlen sowie kohärentere Anordnungen und strukturelle Beziehungen.
Daten und gemeldete Ergebnisse
Der Trainingsdatensatz umfasst AMD zufolge 25 Millionen reale und synthetische Bilder aus öffentlich verfügbaren Quellen. Zu den aufgeführten Quellen gehören 11,1 Millionen reale Bilder von Segment Anything 1B und 4,4 Millionen synthetische Bilder von JourneyDB. Der Datensatz umfasst außerdem 9,5 Millionen synthetische Bilder von FLUXDB und 120.000 hochwertige synthetische Bilder von MiniT2I.
AMD berichtet, dass Nitro-P bei der Generierung von Bildern mit 512 Pixeln auf einer einzelnen AMD Instinct MI300X-GPU einen Durchsatz von 10,26 Samples pro Sekunde erreichte, bei einer Batch-Größe von 32. Die destillierte Ein-Schritt-Variante erreichte unter denselben GPU- und Batch-Größen-Bedingungen 90,02 Samples pro Sekunde bei 512 mal 512 Pixeln und 26 Samples pro Sekunde bei 1024 mal 1024 Pixeln.
Das Modell mit vollständiger Schrittzahl erzielte dem Unternehmen zufolge bei 512 mal 512 Pixeln einen Wert von 0,88 auf GenEval und bei 1024 mal 1024 Pixeln einen Wert von 0,87. AMD zufolge steigerte die Ein-Schritt-Variante den Durchsatz bei nur begrenzten Einbußen bei der Generierungsqualität.
Quellen
- Originalquelle · Blogbeitrag AMD ROCm Blogs rocm.blogs.amd.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- Hitachi-Spezialist wird Maintainer für MCP-Konformitätstests
- OpenAI sagt, seine Modelle hätten AMD-GPU-Designs um bis zu 14 % verbessert
- FlashInfer auf ROCm routet AMD-GPU-Kernels automatisch
- Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs
- vLLM erläutert optionale FlyDSL-MonoKernels für schnelleres Decoding auf AMD-GPUs