InstantFusion: un’interfaccia latente condivisa per generatori di immagini eterogenei

Abstract degli autori

I modelli di diffusione e di flusso si sono affermati come paradigmi di fatto per la generazione di immagini, dando vita a una variegata famiglia di generatori moderni con architetture e rappresentazioni sempre più eterogenee. Nonostante le loro notevoli capacità di generazione, l’allineamento tra modelli delle rappresentazioni latenti e la coerenza delle dinamiche di rimozione del rumore sottostanti sono ancora poco studiati. In questo lavoro individuiamo una sorprendente compatibilità tra modelli: generatori addestrati in modo indipendente mostrano un’organizzazione spaziale latente simile, mentre il trasferimento diretto di stati intermedi tra modelli non allineati può comunque preservare il contenuto visivo nelle sue linee generali. Sulla base di queste osservazioni, proponiamo InstantFusion, una leggera interfaccia latente condivisa che collega le traiettorie di rimozione del rumore di generatori di immagini eterogenei. Nello specifico, per consentire una traduzione flessibile degli stati tra modelli, introduciamo Latent AutoEncoders (LAEs) specifici per ciascun modello, che proiettano gli stati intermedi di generatori diversi in uno spazio latente condiviso e li decodificano nello spazio latente di un generatore bersaglio. Questo spazio condiviso è vincolato da due obiettivi complementari: allineare gli stati intermedi derivati dalla stessa immagine a livelli di rumore corrispondenti e sincronizzare le rispettive velocità locali di rimozione del rumore. Una volta addestrato, InstantFusion consente di passare senza soluzione di continuità da un generatore all’altro durante la rimozione del rumore, mantenendo congelati i generatori e senza richiedere una mappatura dedicata per ogni coppia di modelli. La versatilità di InstantFusion è dimostrata nell’accelerazione, nella composizione di preferenze multiple, nella distillazione on-policy tra architetture e nella composizione tra modelli, con prestazioni competitive in tutti questi diversi ambiti.