RECAP: guardare una sola volta non basta per il ragionamento visivo-linguistico

Abstract degli autori

Il ragionamento con lunghe catene di pensiero migliora i modelli visivo-linguistici (VLM), ma mette anche in luce un problema di ancoraggio temporale: man mano che la generazione procede, i modelli possono allontanarsi dalle informazioni contenute nell’immagine, mentre l’apprendimento per rinforzo continua a fornire una ricompensa soltanto per la risposta finale. Studiamo questo divario attraverso il riaccesso visivo, una riattivazione delle informazioni contenute nell’immagine in momenti specifici del ragionamento. Su tre architetture di base VLM, i picchi di riaccesso visivo predicono la correttezza delle risposte e sono legati causalmente alle prestazioni: mascherarli riduce l’accuratezza più che mascherare i momenti senza picchi, mentre introdurre picchi simili nelle traiettorie fallite ripristina in parte le risposte corrette. Analisi di controllo mostrano che questo segnale non è spiegato dall’intensità grezza dell’attenzione, dall’incertezza, dal margine dei logit o dalla norma dello stato nascosto. Proponiamo RECAP, un metodo di addestramento compatibile con GRPO che trasforma le tracce di riaccesso visivo scollegate dal gradiente in un segnale per l’attribuzione del merito. RECAP usa la stima dell’advantage condizionata al riaccesso visivo, lo sconto dinamico e la predizione del valore regolata da un gate per propagare le ricompense finali attraverso i passaggi di ragionamento visivamente importanti, senza ricompense aggiuntive, ulteriori traiettorie o modifiche in fase di inferenza. Su Qwen2.5-VL-7B, InternVL3-8B e LLaVA-OV-7B, RECAP migliora costantemente i risultati rispetto a GRPO e VPPO, ottenendo incrementi di $+6.1$--$+6.5$ su HallusionBench rispetto al modello di base SFT, senza compromettere le prestazioni nel ragionamento e nei compiti solo testuali. I risultati su modelli più grandi sottoposti a fine-tuning con LoRA, benchmark zero-shot in cinese, perturbazioni visive e valutazioni umane mostrano inoltre miglioramenti robusti nel ragionamento ancorato alle immagini.