MaskSense: affrontare la trappola dell’esplorazione visiva nella generazione di immagini mediante mascheramento

Abstract degli autori

L’apprendimento per rinforzo (RL) ha mostrato un forte potenziale nell’allineare i modelli generativi alle intenzioni umane, ma il suo adattamento ai modelli generativi basati sul mascheramento (MGM) resta in gran parte inesplorato. Gli approcci esistenti che adattano direttamente Group Relative Policy Optimization (GRPO) agli MGM lasciano irrisolto un conflitto fondamentale: la natura orientata allo sfruttamento della decodifica degli MGM è intrinsecamente in contrasto con la diversità esplorativa che GRPO presuppone. In questo lavoro individuiamo un bias strutturale della decodifica, che chiamiamo trappola dell’esplorazione visiva: il campionamento basato sulla confidenza sacrifica l’esplorazione di diverse realizzazioni del soggetto a favore della risoluzione ingorda delle regioni di sfondo a bassa incertezza. Questo provoca un collasso prematuro dello spazio di esplorazione generativa e priva GRPO della diversità delle sequenze generate da cui dipende. Per affrontare il problema, proponiamo MaskSense, un nuovo framework di RL per gli MGM che interviene sulla trappola dell’esplorazione visiva sia nella fase di campionamento sia in quella di ottimizzazione. In particolare, introduciamo un meccanismo di campionamento con instradamento ancorato semanticamente che sfrutta conoscenze semantiche a priori per preservare l’esplorazione dei token del soggetto ad alta entropia, aumentando al contempo la varianza delle ricompense all’interno del gruppo attraverso un instradamento che combina esplorazione e sfruttamento, così da ottenere stime del vantaggio più discriminanti. Progettiamo inoltre una strategia di ancoraggio alle transizioni dell’entropia globale per individuare i passaggi di decodifica più determinanti e concentrare su di essi gli aggiornamenti dei gradienti. Numerosi esperimenti su diversi benchmark di generazione di immagini a partire da testo mostrano che MaskSense migliora nettamente le prestazioni del modello di base: l’accuratezza su GenEval passa dal 54% all’86% e il punteggio HPS da 28,89 a 36,39, raggiungendo prestazioni allo stato dell’arte.