JUICE: modellazione multimodale unificata negli spazi di rappresentazione preaddestrati

Abstract degli autori

La maggior parte dei modelli multimodali unificati tratta immagini e testo in modo asimmetrico: un modello linguistico preaddestrato genera il testo, un modulo di diffusione aggiunto genera le immagini e gli output che contengono entrambi vengono prodotti in un ordine fisso, perciò il primo non può adattarsi al secondo. Ci chiediamo se le due modalità possano invece essere generate da un unico processo, addestrato su entrambe congiuntamente da zero. Gli spazi degli encoder preaddestrati rappresentano entrambe le modalità in un’unica forma continua e incorporano conoscenze apprese su larga scala; studi recenti mostrano inoltre che sono efficaci come obiettivi generativi per immagini e linguaggio. Modelliamo quindi direttamente la distribuzione congiunta in questi spazi. Presentiamo JUICE (Joint Unified multimodal modeling In Continuous Encoder spaces), un unico Transformer basato sul flow matching che opera su rappresentazioni di immagini e testo mantenute fisse, in cui ogni modalità ha un proprio livello di rumore. La scelta delle modalità mantenute prive di rumore e di quelle generate determina il compito: generazione di immagini, generazione di didascalie, risposta a domande sulle immagini o generazione congiunta. Esperimenti controllati di preaddestramento verificano ciascuna scelta progettuale. A parità di guidance, generare il testo come stati continui lascia inalterata la generazione di immagini (48,41 su GenEval, contro 47,86 per un modello addestrato solo a generare immagini dal testo), mentre le didascalie perdono in parte la formulazione esatta. L’addestramento che combina denoising congiunto e condizionale ottiene risultati migliori rispetto a ciascuno dei due da solo, e gli spazi degli encoder semantici superano come obiettivi gli spazi latenti delle VAE e i pixel grezzi. Con 2,1 miliardi di parametri, senza inizializzazione da un modello linguistico e a 224x224, JUICE raggiunge fino a 0,88 su GenEval e 73,1 su VQAv2. Campionando entrambe le modalità dalla distribuzione congiunta (campionamento accoppiato), può anche tracciare un percorso su una mappa mentre scrive le mosse corrispondenti. Nei labirinti con più soluzioni valide, il tasso di successo congiunto sale dal 54,6% con il campionamento indipendente al 93,7%, senza che una modalità debba precedere l’altra. Nella pianificazione spaziale visiva, JUICE risolve il 99,8% delle mappe alle dimensioni usate nell’addestramento.