Ragionare attraverso il latente: rendere necessario il ragionamento visivo latente

Abstract degli autori

Il ragionamento visivo latente mira a svolgere il ragionamento multimodale mediante calcoli negli stati nascosti, anziché attraverso catene di pensiero esplicite in forma testuale. Tuttavia, la presenza di informazioni visive in uno stato latente non implica che il modello si affidi davvero a quello stato per produrre la risposta, soprattutto quando restano disponibili percorsi alternativi condizionati dall’immagine. Introduciamo Causal Visual Recurrent Reasoning (CVRR), che preserva le capacità visive acquisite nel preaddestramento e, al tempo stesso, rende il calcolo ricorrente il percorso condizionato dall’immagine necessario per arrivare alla previsione. CVRR inizializza il processo ricorrente a partire dallo stato nascosto della domanda dopo che il modello visione-linguaggio preaddestrato ha incorporato l’immagine, quindi aggiorna ripetutamente quello stato rileggendo le stesse evidenze visive, mantenute fisse. Prima della decodifica, gli stati visivi e la cache KV multimodale originale vengono rimossi, così che solo lo stato ricorrente finale trasmetta alla risposta informazioni condizionate dall’immagine. Nei benchmark $V^*$, MMVP, BLINK e MME-RealWorld-Lite, CVRR mantiene prestazioni elevate anche con questa interfaccia rigorosa, mentre i modelli di ragionamento latente compatibili non riescono a recuperare capacità visive comparabili nemmeno se riaddestrati con lo stesso vincolo. Ulteriori interventi causali mostrano che le previsioni restano sensibili al contenuto dello stato ricorrente quando la domanda rimane invariata e che le evidenze visive persistenti modificano causalmente la traiettoria ricorrente. Questi risultati distinguono la presenza di informazioni nello stato latente dal calcolo latente effettivamente utilizzato per la previsione.