Qwen-Image-PE: apprendere il design visivo per migliorare i prompt da testo a immagine

Abstract degli autori

Apprendere il design visivo è essenziale per trasformare, attraverso il miglioramento dei prompt (PE), richieste degli utenti poco dettagliate in specifiche visive coerenti per la generazione di immagini da testo (T2I). I metodi esistenti preservano l’intento dell’utente e migliorano l’impatto visivo complessivo, ma prestano meno attenzione esplicita agli aspetti più granulari del design. Per colmare questa lacuna, presentiamo Qwen-Image-PE, che apprende il design visivo attraverso un addestramento in due fasi. Il fine-tuning supervisionato con Caption-Based Reverse Distillation (CRD) utilizza descrizioni dettagliate di immagini dal design curato come supervisione per il design. L’apprendimento per rinforzo con Groupwise Design Reward (GDR) confronta congiuntamente tutte le immagini candidate per la stessa richiesta, perfezionando illuminazione, composizione, layout e dettagli. Su Qwen-Image-Bench con Qwen-Image-2.1, Qwen-Image-PE-397B ottiene 7,81 punti in più rispetto alle richieste originali, mentre Qwen-Image-PE-9B supera tutti i metodi di PE usati come riferimento nella valutazione. Ulteriori valutazioni mostrano miglioramenti nel design visivo, nell’estetica, nella qualità delle immagini e nelle preferenze umane. Rileviamo che il PE migliora su tre fronti: dati di addestramento, dimensioni del modello e densità informativa; una densità informativa sufficiente è un prerequisito per un miglioramento efficace. Dimostriamo inoltre che Qwen-Image-PE si generalizza a quattro ulteriori architetture di base T2I, superando persino i sistemi nativi di miglioramento dei prompt su HunyuanImage-2.1 e FLUX 3 Image Klein. Rendiamo disponibile Qwen-Image-PE-9B all’indirizzo https://huggingface.co/Qwen/Qwen-Image-2.1-PE-T2I.