Ragionamento latente nello spazio continuo per modelli multimodali unificati

Abstract degli autori

I modelli multimodali unificati (UMM) ottengono risultati notevoli in diversi compiti di comprensione e generazione multimodale, ma continuano ad avere difficoltà a sfruttare efficacemente il ragionamento basato sul linguaggio e sulla catena di pensiero per generare immagini. Di conseguenza, gli UMM esistenti potenziati dal ragionamento spesso non riescono a ereditare lo scaling in fase di test e la controllabilità di grana fine osservati nei grandi modelli linguistici. Attribuiamo questo insuccesso a una discrepanza fondamentale tra modalità: il ragionamento avviene in uno spazio discreto di token, mentre la generazione di immagini opera in uno spazio continuo. Per colmare questa lacuna, introduciamo LARC, un framework di ragionamento latente nello spazio continuo, che allevia il collo di bottiglia a livello di token ragionando su stati nascosti continui. Nello specifico, il framework di addestramento si articola in due fasi: (i) fine-tuning supervisionato con curriculum (SFT) e (ii) reinforcement learning basato sul guadagno informativo (RL). In primo luogo, la fase di SFT con curriculum trasforma gradualmente il ragionamento a livello di token in ragionamento latente. In seguito, la fase di RL basato sul guadagno informativo consente al ragionamento latente di evolversi autonomamente, senza supervisione basata sulla ground truth. Gli esperimenti condotti su diversi benchmark di generazione da testo a immagine mostrano che LARC migliora costantemente la qualità delle immagini generate, l’aderenza al prompt e la fedeltà composizionale. In particolare, LARC raggiunge prestazioni allo stato dell’arte su GenEval, con un guadagno di 7 punti percentuali rispetto a BAGEL, e dimostra un chiaro comportamento di scaling in fase di test, superando la generazione basata su token con strategie di scaling in fase di test sia parallele sia sequenziali.