The Pulse
AMD pubblica Nitro-P per la generazione di immagini nello spazio dei pixel
AMD ha rilasciato Nitro-P, un framework text-to-image che genera immagini nello spazio dei pixel senza un decoder separato di autoencoder variazionale. L’azienda ha anche pubblicato i pesi del modello e il codice di training, e ha riportato i risultati di throughput e benchmark del modello.

AMD ha rilasciato Nitro-P, un framework text-to-image che genera immagini direttamente nello spazio dei pixel senza un decoder separato di autoencoder variazionale. Il framework estende il precedente modello Nitro-E dell’azienda, che opera in uno spazio latente compresso, secondo un post del 20 novembre sul blog ROCm di AMD. L’azienda ha anche rilasciato i pesi del modello e il codice completo di training.
Dal testo ai pixel
I sistemi di diffusione nello spazio latente in genere comprimono le immagini in una rappresentazione a dimensionalità inferiore prima di eseguire la diffusione, poi usano un decoder di autoencoder variazionale, o VAE, per trasformare la rappresentazione generata di nuovo in un’immagine RGB. Nitro-P, invece, opera direttamente nello spazio dei pixel ed elimina quel decoder dalla pipeline di inferenza.
AMD afferma che il passaggio di decodifica omesso è particolarmente rilevante quando un modello genera un’immagine in pochi passaggi. L’azienda osserva inoltre che la generazione nello spazio latente dipende dalle informazioni visive che l’autoencoder conserva durante la compressione.
Il nuovo framework suddivide il lavoro tra un componente che modella la struttura dell’immagine in patch e un decoder U-Net leggero che ricostruisce i pixel. Questo sostituisce la previsione diretta dei valori dei pixel a partire dai token delle patch, seguita dal loro assemblaggio in un’immagine.
Gestire i confini tra le patch
Il componente a livello di patch si basa sul design E-MMDiT di Nitro-E. Elabora patch RGB di 16×16 pixel e produce una mappa semantica delle caratteristiche grossolana a un sedicesimo della risoluzione. Il condizionamento sul testo utilizza caratteristiche di Qwen3-1.7B, che vengono proiettate e affinate prima di entrare nell’attenzione congiunta.
AMD afferma che la previsione diretta dai token delle patch può produrre artefatti visibili e che ha osservato un problema più marcato quando un modello distillato genera l’immagine finale in un unico passaggio. Anche la decodifica indipendente delle patch può lasciare giunture visibili nei punti in cui si incontrano.
Nitro-P utilizza una U-Net sull’intera immagine per la decodifica congiunta, anziché ricostruire ogni patch isolatamente. Il decoder ricostruisce la velocità RGB a piena risoluzione usando convoluzioni multiscala e connessioni skip. Nel confronto, l’azienda ha rilevato con la decodifica congiunta molti meno artefatti visibili delle patch rispetto alla decodifica indipendente.
Collegare struttura e dettaglio
Il framework trasferisce le informazioni dal modello a livello di patch al decoder a livello di pixel attraverso quello che AMD chiama iniezione semantica guidata dalla modulazione. Nel design guidato dalla modulazione, la mappa delle caratteristiche viene proiettata in parametri di scala e traslazione variabili nello spazio, che modificano le attivazioni nel collo di bottiglia della U-Net.
I ricercatori hanno confrontato questo metodo con una baseline che concatena direttamente le caratteristiche dei due componenti. A parità di impostazioni di training e inferenza, AMD afferma che l’approccio guidato dalla modulazione ha prodotto colori e conteggi degli oggetti più accurati, oltre a layout e relazioni strutturali più coerenti.
Dati e risultati riportati
Secondo AMD, il dataset di training contiene 25 milioni di immagini, reali e sintetiche, provenienti da fonti disponibili pubblicamente. Tra le fonti elencate figurano 11,1 milioni di immagini reali da Segment Anything 1B e 4,4 milioni di immagini sintetiche da JourneyDB. Il dataset comprende anche 9,5 milioni di immagini sintetiche da FLUXDB e 120.000 immagini sintetiche di alta qualità da MiniT2I.
AMD riferisce che Nitro-P ha raggiunto un throughput di 10,26 campioni al secondo nella generazione di immagini da 512 pixel su una singola GPU AMD Instinct MI300X, con una dimensione del batch di 32. La variante distillata a un passaggio ha raggiunto 90,02 campioni al secondo a 512×512 pixel e 26 campioni al secondo a 1024×1024 pixel, nelle stesse condizioni di GPU e dimensione del batch.
Secondo l’azienda, il modello con tutti i passaggi ha ottenuto un punteggio di 0,88 su GenEval a 512×512 pixel e di 0,87 a 1024×1024. AMD afferma che la variante a un passaggio ha migliorato il throughput con un degrado limitato della qualità di generazione.
Fonti
- Fonte originale · Post del blog AMD ROCm Blogs rocm.blogs.amd.com
Aziende in questa notizia
Notizie correlate
- Vercel aggiunge i modelli MiniMax H3 Image ad AI Gateway
- OpenAI afferma che i suoi modelli hanno migliorato fino al 14% i progetti di GPU di AMD
- AMD riferisce kernel di raccordo per l’inferenza più veloci grazie alle configurazioni fissate di AITER
- AMD segnala il riutilizzo della cache dei token in un benchmark di agenti di programmazione
- Unsloth Desktop aggiunge l’inferenza locale sulle NPU AMD XDNA 2 nei PC Ryzen AI