The Pulse
AMD publica Nitro-P para geração de imagens em espaço de pixels
A AMD lançou o Nitro-P, um framework de texto para imagem que gera imagens em espaço de pixels sem um decodificador separado de autoencoder variacional. A empresa também publicou os pesos do modelo e o código de treinamento, além de divulgar a taxa de processamento e os resultados em benchmarks do modelo.

A AMD lançou o Nitro-P, um framework de texto para imagem que gera imagens diretamente em espaço de pixels, sem um decodificador separado de autoencoder variacional. O framework amplia o modelo Nitro-E anterior da empresa, que opera em um espaço latente comprimido, segundo uma publicação de 20 de novembro no blog ROCm da AMD. A empresa também lançou os pesos do modelo e o código completo de treinamento.
Do texto aos pixels
Sistemas de difusão em espaço latente normalmente comprimem imagens em uma representação de dimensão menor antes de realizar a difusão e, em seguida, usam um decodificador de autoencoder variacional, ou VAE, para transformar a representação gerada de volta em uma imagem RGB. O Nitro-P, por sua vez, trabalha diretamente em espaço de pixels e remove esse decodificador do pipeline de inferência.
A AMD afirma que a etapa de decodificação eliminada é particularmente relevante quando um modelo gera uma imagem em apenas algumas etapas. A empresa também observa que a geração em espaço latente depende das informações visuais que o autoencoder retém durante a compressão.
O novo framework divide o trabalho entre um componente que modela a estrutura da imagem em patches e um decodificador U-Net leve que reconstrói os pixels. Isso substitui a previsão direta de valores de pixel a partir de tokens de patch, seguida da montagem deles em uma imagem.
Como lidar com os limites dos patches
O componente no nível dos patches se baseia no design E-MMDiT do Nitro-E. Ele processa patches RGB de 16 por 16 e produz um mapa de características semânticas grosseiras com resolução de um dezesseis avos. O condicionamento de texto usa características do Qwen3-1.7B, que são projetadas e refinadas antes de entrar na atenção conjunta.
A AMD afirma que a previsão direta a partir de tokens de patch pode produzir artefatos visíveis e que observou um problema mais acentuado quando um modelo destilado gera a imagem final em uma única passagem. Decodificar os patches de forma independente também pode deixar junções visíveis nos pontos de encontro entre eles.
O Nitro-P usa uma U-Net para a imagem inteira na decodificação conjunta, em vez de reconstruir cada patch isoladamente. O decodificador reconstrói a velocidade RGB em resolução total usando convoluções em múltiplas escalas e conexões de atalho. Na comparação, a empresa encontrou substancialmente menos artefatos visíveis de patch com a decodificação conjunta do que com a decodificação independente.
Conectando estrutura e detalhes
O framework transmite informações do modelo no nível dos patches para o decodificador no nível dos pixels por meio do que a AMD chama de injeção semântica guiada por modulação. Nesse design, o mapa de características é projetado em parâmetros de escala e deslocamento que variam espacialmente e modificam as ativações no gargalo da U-Net.
Os pesquisadores compararam esse método com uma abordagem de referência que concatena diretamente as características dos dois componentes. Com configurações idênticas de treinamento e inferência, a AMD afirma que a abordagem guiada por modulação produziu cores e contagens de objetos mais precisas, além de layouts e relações estruturais mais coerentes.
Dados e resultados divulgados
O conjunto de dados de treinamento contém 25 milhões de imagens, reais e sintéticas, de fontes disponíveis publicamente, segundo a AMD. Entre as fontes listadas estão 11,1 milhões de imagens reais do Segment Anything 1B e 4,4 milhões de imagens sintéticas do JourneyDB. O conjunto também inclui 9,5 milhões de imagens sintéticas do FLUXDB e 120.000 imagens sintéticas de alta qualidade do MiniT2I.
A AMD informa que o Nitro-P atingiu uma taxa de processamento de 10,26 amostras por segundo na geração de imagens de 512 pixels em uma única GPU AMD Instinct MI300X, com tamanho de lote de 32. A variante destilada de uma etapa atingiu 90,02 amostras por segundo em imagens de 512 por 512 pixels e 26 amostras por segundo em imagens de 1.024 por 1.024 pixels, nas mesmas condições de GPU e tamanho de lote.
O modelo de etapas completas obteve pontuação de 0,88 no GenEval em imagens de 512 por 512 pixels e de 0,87 em imagens de 1.024 por 1.024, segundo a empresa. A AMD afirma que a variante de uma etapa aumentou a taxa de processamento com apenas uma degradação limitada na qualidade da geração.
Fontes
- Fonte original · Post de blog AMD ROCm Blogs rocm.blogs.amd.com
Empresas nesta notícia
Notícias relacionadas
- Especialista da Hitachi se torna responsável pela manutenção dos testes de conformidade do MCP
- OpenAI diz que seus modelos melhoraram em até 14% os projetos de GPUs da AMD
- FlashInfer no ROCm roteia automaticamente kernels de GPU da AMD
- Unsloth Desktop adiciona inferência local em PCs Ryzen AI com NPUs AMD XDNA 2
- vLLM detalha MonoKernels FlyDSL opcionais para decodificação mais rápida em GPUs AMD