The Pulse
AMD publica Nitro-P para generar imágenes en el espacio de píxeles
AMD ha lanzado Nitro-P, un marco de texto a imagen que genera imágenes en el espacio de píxeles sin un decodificador independiente de autoencoder variacional. La empresa también ha publicado los pesos del modelo y el código de entrenamiento, y ha informado sobre el rendimiento y los resultados del benchmark del modelo.

AMD ha lanzado Nitro-P, un marco de texto a imagen que genera imágenes directamente en el espacio de píxeles sin un decodificador independiente de autoencoder variacional. El marco amplía el modelo Nitro-E anterior de la empresa, que opera en un espacio latente comprimido, según una publicación del 20 de noviembre en el blog de ROCm de AMD. La empresa también ha publicado los pesos del modelo y el código de entrenamiento completo.
Del texto a los píxeles
Los sistemas de difusión en el espacio latente suelen comprimir las imágenes en una representación de menor dimensión antes de aplicar la difusión y, después, utilizan un decodificador de autoencoder variacional, o VAE, para convertir la representación generada de nuevo en una imagen RGB. Nitro-P, en cambio, trabaja directamente en el espacio de píxeles y elimina ese decodificador del proceso de inferencia.
AMD afirma que prescindir de la etapa de decodificación es especialmente relevante cuando un modelo genera una imagen en solo unos pocos pasos. La empresa también señala que la generación en el espacio latente depende de la información visual que el autoencoder conserva durante la compresión.
El nuevo marco reparte el trabajo entre un componente que modela la estructura de la imagen en parches y un decodificador U-Net ligero que reconstruye los píxeles. Esto sustituye la predicción directa de los valores de los píxeles a partir de tokens de los parches, seguida de su ensamblaje en una imagen.
Gestión de los límites entre parches
El componente a nivel de parche se basa en el diseño E-MMDiT de Nitro-E. Procesa parches RGB de 16 por 16 y genera un mapa de características semánticas grueso a una resolución de una dieciseisava parte. El condicionamiento de texto utiliza características de Qwen3-1.7B, que se proyectan y refinan antes de entrar en la atención conjunta.
AMD afirma que la predicción directa a partir de tokens de los parches puede producir artefactos visibles y que observó un problema más pronunciado cuando un modelo destilado genera la imagen final en una sola pasada. Decodificar los parches de forma independiente también puede dejar uniones visibles en los puntos donde se encuentran.
Nitro-P utiliza una U-Net para la imagen completa en la decodificación conjunta, en lugar de reconstruir cada parche de forma aislada. El decodificador reconstruye la velocidad RGB a resolución completa mediante convoluciones multiescala y conexiones de salto. En su comparación, la empresa observó muchos menos artefactos visibles en los parches con la decodificación conjunta que con la independiente.
Conectar estructura y detalle
El marco transmite información de su modelo a nivel de parche al decodificador a nivel de píxel mediante lo que AMD denomina inyección semántica guiada por modulación. En este diseño, el mapa de características se proyecta en parámetros de escala y desplazamiento que varían espacialmente y modifican las activaciones en el cuello de botella de la U-Net.
Los investigadores compararon ese método con una referencia que concatena directamente las características de los dos componentes. Con ajustes de entrenamiento e inferencia idénticos, AMD afirma que el método guiado por modulación produjo colores y cantidades de objetos más precisos, además de distribuciones y relaciones estructurales más coherentes.
Datos y resultados comunicados
Según AMD, el conjunto de datos de entrenamiento contiene 25 millones de imágenes, tanto reales como sintéticas, procedentes de fuentes disponibles públicamente. Entre las fuentes citadas hay 11,1 millones de imágenes reales de Segment Anything 1B y 4,4 millones de imágenes sintéticas de JourneyDB. El conjunto también incluye 9,5 millones de imágenes sintéticas de FLUXDB y 120.000 imágenes sintéticas de alta calidad de MiniT2I.
AMD informa de que Nitro-P alcanzó un rendimiento de 10,26 muestras por segundo al generar imágenes de 512 píxeles en una única GPU AMD Instinct MI300X, con un tamaño de lote de 32. La variante destilada de un solo paso alcanzó 90,02 muestras por segundo a 512 por 512 píxeles y 26 muestras por segundo a 1024 por 1024 píxeles, en las mismas condiciones de GPU y tamaño de lote.
Según la empresa, el modelo de pasos completos obtuvo una puntuación de 0,88 en GenEval a 512 por 512 píxeles y de 0,87 a 1024 por 1024. AMD afirma que la variante de un solo paso mejoró el rendimiento con un deterioro limitado de la calidad de generación.
Fuentes
- Fuente original · Entrada de blog AMD ROCm Blogs rocm.blogs.amd.com
Empresas en esta noticia
Noticias relacionadas
- Especialista de Hitachi se convierte en mantenedor de pruebas de conformidad de MCP
- OpenAI dice que sus modelos mejoraron hasta un 14 % los diseños de GPU de AMD
- FlashInfer en ROCm enruta automáticamente los kernels de GPU de AMD
- Unsloth Desktop añade inferencia local en las NPU AMD XDNA 2 de los PC Ryzen AI
- vLLM detalla los MonoKernels optativos de FlyDSL para acelerar la decodificación en GPU de AMD