Allineamento intrinseco delle distribuzioni

Abstract degli autori

La generazione da testo a immagine in uno o pochi passaggi deve riprodurre fedelmente i dettagli specificati nel prompt, nonostante le limitate possibilità di perfezionamento. La distillazione con allineamento delle distribuzioni (DMD) usa le differenze tra score per avvicinare la distribuzione generata a una distribuzione di riferimento. Seguendo i lavori precedenti, stimiamo questa differenza con rami interni di predizione della velocità, evitando una rete separata di fake score. Ci chiediamo se un vincolo esplicito sui momenti migliori questa supervisione basata sullo score appreso. Una scomposizione del campo della KL inversa in una componente gaussiana dei momenti e un residuo non gaussiano individua statistiche a cui si possono imporre vincoli espliciti. Introduciamo Intrinsic Distribution Matching (IDM), che mantiene l’intera correzione DMD e allinea le medie delle feature e le deviazioni standard per coordinata usando la copia del generatore ottenuta tramite media mobile esponenziale (EMA), senza richiedere un encoder di feature esterno. Gli esperimenti impiegano il fine-tuning a parametri completi e l’adattamento a basso rango (LoRA) su Z-Image-Turbo 6B e Qwen-Image 20B. Con due valutazioni della rete, IDM raggiunge il 94,25% e il 90,20% su LongText-Bench in cinese e in inglese, ottenendo i punteggi più alti tra i metodi confrontati con questo budget. Le ablazioni controllate mostrano i miglioramenti dovuti alla loss aggiuntiva sui momenti, mentre le feature della copia EMA del generatore ottengono risultati competitivi rispetto a un encoder DINOv2 esterno nelle cinque metriche riportate. Il codice è disponibile all’indirizzo https://github.com/inclusionAI/IDM.