RoAR-VAE: migliorare la diffusibilità delle rappresentazioni latenti attraverso la predizione robusta

Abstract degli autori

Un tokenizer visivo efficace deve preservare la fedeltà dell’immagine e, al tempo stesso, produrre rappresentazioni latenti che i modelli di diffusione impiegati nelle fasi successive possano apprendere in modo efficiente. I lavori precedenti migliorano la diffusibilità delle rappresentazioni latenti attraverso l’allineamento semantico o l’addestramento congiunto del tokenizer e del modello di diffusione. Riesaminando REPA-E, un approccio rappresentativo, osserviamo che eliminare il suo obiettivo di diffusione e i blocchi generativi dedicati, mantenendo la predizione semantica a partire da rappresentazioni latenti alterate, produce prestazioni comparabili nella generazione a valle, a parità di condizioni. Questa osservazione suggerisce un principio generale di predizione robusta: le informazioni rilevanti per la generazione dovrebbero rimanere recuperabili dalle rappresentazioni latenti alterate. Applichiamo questo principio con due obiettivi complementari. RobustAlign predice caratteristiche semantiche preaddestrate a partire da rappresentazioni latenti alterate per preservare la struttura di alto livello, mentre RobustRecon ricostruisce l’immagine originale per conservare le informazioni spaziali e sull’aspetto più dettagliate. Insieme costituiscono Robust Alignment and Reconstruction VAE (RoAR-VAE). La nostra analisi suggerisce che la predizione robusta migliori la diffusibilità rendendo le informazioni utili più accessibili nelle direzioni latenti ad alta varianza, che i modelli di diffusione tendono ad apprendere prima. Nei test empirici, RoAR-VAE migliora di 2,19 punti le prestazioni medie nei benchmark di generazione rispetto al tokenizer di riferimento più performante, a parità di budget di addestramento, e aumenta di 16,93 punti percentuali rispetto a FLUX.1-VAE l’accuratezza nella ricostruzione di testi di piccole dimensioni. Questi risultati dimostrano che RoAR-VAE raggiunge un equilibrio favorevole tra fedeltà della ricostruzione e facilità di apprendimento per la generazione nelle fasi successive.