Verus-Insight: verso il rilevamento spiegabile degli artefatti nei video generati dall’IA

Abstract degli autori

I recenti progressi nella generazione di video hanno reso i video sintetici sempre più realistici, aumentando le esigenze di affidabilità nel rilevamento dei video generati dall’IA. I sistemi di rilevamento basati sugli artefatti usano di norma gli artefatti di generazione come prova della provenienza di un video, ma possono non riconoscere quelli più sottili oppure stabilire correttamente la provenienza senza individuare fedelmente le prove su cui si basa la decisione. In questo lavoro studiamo sistematicamente come progettare e addestrare sistemi efficaci per il rilevamento degli artefatti e formuliamo tale rilevamento come un processo strutturato in tre capacità complementari: la pianificazione dell’ispezione, che stabilisce cosa esaminare; la verifica delle evidenze, che accerta se il contenuto esaminato presenta effettivi artefatti di generazione; e l’aggregazione delle evidenze, che integra le evidenze verificate nella decisione finale sulla provenienza. Su questa base presentiamo Verus-Insight, addestrato mediante una supervisione dell’intero processo ancorata a valutazioni umane e un addestramento progressivo delle capacità, per rafforzare sia il rilevamento granulare degli artefatti sia il rilevamento a livello di video. Presentiamo inoltre Verus-Bench, un benchmark con annotazioni umane granulari degli artefatti percepibili per valutare il rilevamento degli artefatti. Esperimenti approfonditi su diversi benchmark mostrano che Verus-Insight ottiene risultati solidi sia nell’analisi granulare degli artefatti sia nel rilevamento dei video generati dall’IA, con notevoli miglioramenti nell’individuazione degli artefatti percepiti dagli esseri umani. Ulteriori analisi mostrano che le tre capacità sono complementari ma distinte e che Verus-Insight trasforma con maggiore affidabilità gli elementi pertinenti da esaminare in evidenze fondate di artefatti, senza aumentare le segnalazioni infondate di artefatti.