Diagnosticare il gap di riferimento: cosa possono e non possono correggere le impalcature visive nel ragionamento multimodale

Abstract degli autori

I grandi modelli linguistici multimodali possono riconoscere i contenuti visivi, ma faticano a ragionarci sopra in modo affidabile attraverso più passaggi. Nel conteggio, un modello può vedere tutti gli oggetti, ma perdere il conto di quali ha già contato. Sosteniamo che questi errori, comunemente attribuiti alla percezione, rivelino un gap di riferimento: l’incapacità di collegare il linguaggio alle entità, alle regioni o alle posizioni visive pertinenti. Ispirandoci alla teoria delle routine visive, verifichiamo se riferimenti esterni, come la numerazione, possano ridurre questo gap. Introduciamo ReGap-Bench, un benchmark appaiato composto da cinque compiti di ragionamento visivo, in cui la scena, la domanda e la risposta restano fisse e varia soltanto il riferimento. I risultati mostrano che i riferimenti adeguati al compito migliorano l’accuratezza fino al 25\%, mentre quelli non adeguati offrono pochi benefici o addirittura peggiorano le prestazioni. Questi risultati individuano nel gap di riferimento un collo di bottiglia distinto dalla percezione visiva e mostrano che costruire riferimenti visivi adeguati al compito può essere un’abilità visiva che non richiede addestramento, utile a migliorare il ragionamento multimodale.