Quando ripensarci: apprendere l’autoverifica multiprospettica per i modelli visione-linguaggio

Abstract degli autori

I modelli visione-linguaggio (VLM) hanno raggiunto prestazioni elevate nel ragionamento multimodale, ma restano inclini a generare risposte plausibili ma errate. L’autoverifica offre un modo pratico per migliorare l’affidabilità delle risposte senza ricorrere a valutatori esterni. I metodi esistenti, tuttavia, si basano in genere su un unico criterio di verifica o su un prompt fisso, producendo stime dell’affidabilità incomplete e instabili. Analizziamo anzitutto in modo sistematico come le capacità del verificatore e la progettazione del prompt influiscano sulle prestazioni della verifica. I nostri risultati mostrano che i verificatori più capaci formulano valutazioni più affidabili, mentre le prestazioni della verifica dipendono fortemente dalla scelta del prompt: nessun singolo prompt prevale costantemente in tutti i compiti. Sulla base di questi risultati, proponiamo \texttt{MOTIVE}, un framework di autoverifica multiprospettica con ripensamento selettivo guidato dall’affidabilità, denominato \textbf{M}ulti-View Self-Verificati\textbf{O}n wi\textbf{T}h Rel\textbf{I}ability-Guided Selecti\textbf{VE} Rethinking, per un ragionamento multimodale affidabile. \texttt{MOTIVE} valuta ogni risposta candidata da prospettive di verifica complementari e apprende un punteggio di affidabilità allineato alla correttezza attraverso un apprendimento della verifica multiprospettica fondato sulla correttezza. Durante l’inferenza, questo punteggio determina se accettare la risposta o ripensarla, consentendo di restituire direttamente le risposte affidabili e di avviare, per quelle incerte, un ripensamento guidato dalla cronologia. Ampi esperimenti condotti su diversi benchmark multimodali e modelli VLM di base dimostrano che \texttt{MOTIVE} supera costantemente solidi metodi di riferimento per l’autoverifica e l’autocorrezione. Ulteriori risultati mostrano che una verifica affidabile migliora le decisioni se accettare una risposta o ripensarla e riduce i passaggi di ragionamento non necessari, rendendo possibile un’autoverifica più affidabile ed efficiente senza un valutatore esterno.