MIRA: rafforzare il ragionamento multimodale tramite un potenziamento contestuale ingannevole

Abstract degli autori

Sebbene l’apprendimento per rinforzo con ricompense verificabili (RLVR) abbia fatto progredire notevolmente il ragionamento multimodale, i framework esistenti soffrono di un critico «divario tra percezione e ragionamento». A causa dell’eccessiva dipendenza da token visivi apparentemente pertinenti, anche piccole perturbazioni percettive possono propagarsi nel processo di ragionamento, causando allucinazioni sempre più gravi. Per affrontare questo problema, proponiamo MIRA, un framework di addestramento che migliora la robustezza ai contesti visivi errati e, al contempo, potenzia la capacità di ragionamento logico. Inserendo durante l’addestramento contesti visivi ingannevoli e filtrati, costruiamo «trappole difficili» che sottopongono la robustezza del modello a prove impegnative di fronte a informazioni fuorvianti. Inoltre, introduciamo un meccanismo di attivazione della riflessione a livello di gruppo, che consente al modello di rilevare e correggere autonomamente le incongruenze tra gli indizi visivi e i vincoli logici; questo comportamento viene infine interiorizzato come comportamento intrinseco della policy. È importante sottolineare che MIRA non si basa su annotazioni umane. I risultati sperimentali su diversi benchmark di ragionamento e percezione mostrano che MIRA migliora in media del 7% le prestazioni sui benchmark del dominio, con miglioramenti costanti sui benchmark incentrati sulla visione. Questi risultati evidenziano che il recupero attivo dagli errori è essenziale per un ragionamento multimodale robusto. Studi di ablazione e analisi approfondite forniscono inoltre indicazioni sul perché MIRA sia efficace.