WeLM-Image: un modello unificato di generazione di immagini verso l’intelligenza visiva

Abstract degli autori

Presentiamo \textbf{WeLM-Image}, un modello fondazionale unificato per le immagini che integra la comprensione multimodale nella generazione di immagini da testo, nell’editing guidato da istruzioni e nella sintesi con più immagini di riferimento. Progettato per l’implementazione su una singola GPU nelle applicazioni consumer su larga scala di WeChat, il modello elabora testi, immagini di riferimento e latenti target come un’unica sequenza intercalata. Un backbone Mixture-of-Transformers (MoT) combina l’attenzione condivisa con parametri indipendenti per la comprensione e la generazione, così da limitare le interferenze nell’ottimizzazione. L’aggiunta di moduli Mixture-of-Experts (MoE) a ciascun percorso fornisce capacità sparse, con 31,7 miliardi di parametri archiviati e circa 5,4 miliardi di parametri di generazione attivati per ogni token latente target. Un motore di dati orientato alla generazione combina un vocabolario visivo fondato sulla conoscenza con il clustering visivo su larga scala per bilanciare la copertura semantica e i compiti di editing, mentre la valutazione durante l’addestramento guida il perfezionamento iterativo dei dati. Annotazioni bilingui e una supervisione verificata per l’editing supportano un addestramento progressivo fino alla risoluzione nativa di 1,5K. Ottimizziamo separatamente la generazione e l’editing con ricompense basate su rubriche e checklist, quindi consolidiamo le politiche specializzate tramite distillazione on-policy consapevole del rumore. Nei confronti complessivi riportati, il modello a risoluzione 1536 si classifica al primo posto tra i modelli open source valutati su PRISM-Bench, Qwen-Image-Bench e UnicBench. La distillazione in pochi passaggi basata su MeanFlow dà origine a WeLM-Image-Turbo, che genera un’immagine $1024\times1024$ in 4,98\,s su una singola GPU NVIDIA H20 usando otto passaggi senza guidance.