DF26: non riusciamo più a distinguere il falso dal vero

Abstract degli autori

Presentiamo DF26, un nuovo benchmark per rilevare i video generati dall’IA, che comprende filmati interamente sintetici prodotti da recenti modelli da testo a video e da immagine a video. I video mostrano situazioni in cui una sola persona parla in pubblico: registrazioni in cui si rivolge direttamente alla telecamera, dichiarazioni ufficiali e interviste in studio. Il benchmark comprende 271 video reali e 2.420 video sintetici generati da sette modelli video moderni. Lo studio condotto su DF26 mostra che sia le persone sia i rilevatori di deepfake all’avanguardia distinguono i video generati dall’IA con risultati vicini a quelli di una scelta casuale. I nostri risultati mettono in luce i limiti degli attuali protocolli di valutazione e indicano la necessità di benchmark che misurino esplicitamente la robustezza ai cambiamenti nella distribuzione dei moderni modelli generativi.