Apprendere la riflessione nativa nei modelli unificati con l’apprendimento per rinforzo intercalato

Abstract degli autori

I modelli multimodali unificati possono sia esaminare sia renderizzare immagini. In linea di principio, quindi, possono correggere le proprie generazioni: individuare gli errori in un’immagine, modificarla, osservare il risultato e valutarlo di nuovo. Solo dopo la renderizzazione si può sapere se una modifica è utile: il testo della riflessione e la generazione dell’immagine devono dunque essere appresi congiuntamente, sull’intero ciclo. Il fine-tuning supervisionato (SFT) su traiettorie di riflessione offre un punto di partenza, ma non individua i percorsi di correzione con un elevato tasso di successo. Un’applicazione ingenua dell’apprendimento per rinforzo che ottimizza solo il renderer o una sola testa lascia invece inutilizzata gran parte dei possibili miglioramenti. Presentiamo UMM-Reflection, che applica l’apprendimento per rinforzo (RL) a traiettorie di riflessione complete all’interno di un unico modello: traiettorie derivate dalla stessa immagine iniziale permettono di confrontare le strategie di riflessione tramite il vantaggio relativo al gruppo, mentre un unico vantaggio calcolato sull’intera traiettoria aggiorna sia i token della riflessione sia le revisioni basate sul flusso, evitando la crescita combinatoria dell’attribuzione del merito a ogni ciclo. A differenza dell’editing in un solo ciclo o delle pipeline con un valutatore esterno, l’attribuzione del merito si estende a più cicli e a entrambi i ruoli dello stesso modello; in fase di inferenza non serve alcun verificatore. Su BAGEL, UMM-Reflection migliora GenEval di 12,05 punti rispetto a SFT, e i miglioramenti si trasferiscono a WISE (+10,97), OneIG-Bench (+3,48) e T2I-CompBench++ (+4,63), nessuno dei quali è usato nell’addestramento.