Visual Sanad: una verifica della falsa accettazione delle citazioni coraniche nei modelli visivo-linguistici

Abstract degli autori

I modelli visivo-linguistici (VLM) sono sempre più usati per interpretare contenuti visivi religiosi, educativi e culturalmente sensibili, ma la loro affidabilità nella verifica delle citazioni resta poco studiata. Presentiamo Visual Sanad, un benchmark controllato per verificare se i VLM accettino erroneamente attribuzioni errate di versetti coranici quando la stessa coppia citazione-riferimento è presentata con impostazioni visive diverse. Il benchmark comprende 2.400 immagini generate a partire da 100 versetti del Corano in inglese, con quattro stati fattuali per versetto e sei condizioni visive, dal testo semplice a impaginazioni decorative o che evocano autorevolezza. Tutte le coppie citazione-riferimento sono state verificate sulle fonti e controllate da persone prima della generazione delle immagini. In 24 esecuzioni complete con diverse combinazioni di modello e prompt, osserviamo una netta differenza di capacità. I VLM proprietari accessibili tramite API vanno da una verifica delle citazioni quasi perfetta a un livello moderato di falsa accettazione, mentre i VLM recenti a pesi aperti mostrano spesso una scarsa capacità di distinguere le citazioni corrette da quelle errate e rispondono VALID per la maggior parte delle immagini. Prompt studiati per ridurre i bias possono diminuire la falsa accettazione, ma spesso lo fanno spostando la soglia decisionale verso INVALID, anziché migliorando nettamente la capacità di distinguere le citazioni. Visual Sanad mette quindi in luce un problema di accuratezza fattuale multimodale radicato in un contesto culturale: VLM capaci di produrre testi fluenti potrebbero trattare le citazioni religiose mostrate come se si autenticassero da sé, a meno che non abbiano una solida capacità di verificarle.