EviScene: oltre «È IA?» per la valutazione agentica della veridicità delle immagini

Abstract degli autori

Stabilire se un’immagine è generata dall’IA non permette di accertare se la situazione che raffigura sia supportata dai fatti. Formuliamo il compito di valutazione della veridicità delle immagini: data un’immagine e un’istruzione generica di verifica, un sistema restituisce un verdetto di conferma o smentita, accompagnato da una spiegazione fondata sulle prove. In assenza di un’affermazione testuale fornita in partenza, il sistema deve affinare progressivamente le domande sui fatti nel corso dell’indagine e mettere in relazione le prove esterne con la situazione specifica raffigurata. Presentiamo EviLens, un benchmark esaminato da esperti che comprende 10.174 immagini la cui veridicità è confermata o smentita, ottenute mediante realizzazione controllata e raccolta sul web. Copre dodici tipi di errori fattuali e valuta sia l’accuratezza dei verdetti sia la sufficienza delle prove. Sviluppiamo EviScene, un agente multimodale ReAct che alterna ispezione visiva, ricerca di fonti esterne e analisi delle prove, usando le nuove informazioni per affinare le proprie domande e riesaminare i dettagli pertinenti dell’immagine. Addestriamo una policy compatta mediante fine-tuning supervisionato su traiettorie di un modello insegnante sottoposte a revisione, seguito da un’auto-distillazione on-policy privilegiata applicata alle decisioni verificate emerse dalle indagini della policy stessa. Sul set di test di 1.527 immagini, l’agente Qwen3.5-9B addestrato raggiunge un’accuratezza bilanciata del 79,05% e un tasso di sufficienza rigorosa delle prove (Strict Evidence Sufficiency Rate, SESR) del 52,26%, superando l’agente di base con la stessa architettura di 6,71 e 9,37 punti percentuali, rispettivamente. Il suo SESR è il più alto tra gli agenti valutati. Il codice, i modelli e i dati saranno resi disponibili su https://github.com/wangzian828/EVISCENE e https://huggingface.co/ZiAnwang/EviScene.