Iris-3B: oltre lo spazio latente con l’addestramento, la conversione e il fine-tuning della diffusione nello spazio dei pixel

Abstract degli autori

I modelli di diffusione nello spazio dei pixel evitano il VAE con perdita di informazione dei modelli nello spazio latente, il che suggerisce un vantaggio nei compiti a valle in cui contano i dettagli più fini. Mettiamo alla prova questa ipotesi seguendo entrambe le vie per ottenere un modello di base nello spazio dei pixel. Pre-addestriamo da zero Iris-3B, un transformer text-to-image da 3B parametri nello spazio dei pixel, attraverso un percorso $256\to512\to1024$, dopo aver condotto studi di ablazione sull’obiettivo di predizione e sull’allineamento delle rappresentazioni a $256^2$ per decidere quali componenti scalare. Convertiamo inoltre nello spazio dei pixel un modello latente pre-addestrato, FLUX.2 Klein base 4B. Sottoponiamo entrambe le famiglie a fine-tuning per la stima della profondità monoculare e per il restauro delle immagini/super-risoluzione. Non riscontriamo miglioramenti significativi dall’uso di un prior generativo nello spazio dei pixel. Nel compito di stima della profondità, con la stessa procedura di fine-tuning basata sulla regressione diretta, Iris-3B è alla pari con il modello latente FLUX.2 Klein, mentre FLUX.2 Klein convertito nello spazio dei pixel ottiene risultati inferiori. Nel restauro $4\times$ su DIV2K, nessuno dei due modelli nello spazio dei pixel supera il modello latente FLUX.2 Klein sottoposto a fine-tuning; quello convertito resta leggermente indietro. Documentiamo le procedure, i casi di insuccesso e i fattori confondenti ancora presenti dietro questo risultato negativo. Ciononostante, Iris-3B mostra che il pre-addestramento nello spazio dei pixel con la testa pixel-transformer (PiT) di PixelDiT scala fino a 3B parametri e raggiunge una qualità text-to-image competitiva con quella dei modelli latenti, eguagliando Qwen-Image su OneIG secondo i valutatori ufficiali a $1024^2$. Rendiamo disponibili i suoi pesi e il codice di addestramento nella speranza che contribuiscano a spianare la strada a ulteriori ricerche sulla generazione nello spazio dei pixel.