Certificazione delle immagini reali mediante autenticazione calibrata dei contenuti

Abstract degli autori

I modelli generativi possono creare contenuti multimediali inautentici di alta qualità, già utilizzati impropriamente su larga scala. Valutiamo venti rilevatori di deepfake rispetto a dieci generatori pubblicati negli ultimi quattro anni e riscontriamo che la loro accuratezza diminuisce nel tempo, passando dal 99,5%, un valore quasi perfetto, al 76%. Le perturbazioni avversarie fanno scendere ulteriormente l’accuratezza di ciascun rilevatore di riferimento sotto il 2%, invertendo di fatto l’etichetta assegnata dal rilevatore. Sosteniamo che questa inaffidabilità rifletta un’ambiguità fondamentale: i generatori possono riprodurre esattamente contenuti autentici, per esempio tramite memorizzazione, quindi il solo contenuto non può rivelarne la vera origine. Per questo, un contenuto prodotto da un generatore deve poter essere ricostruito fedelmente da quello stesso generatore; trovare una ricostruzione del genere rende plausibile un’origine sintetica e l’autenticità plausibilmente negabile. Proponiamo quindi e valutiamo un approccio al rilevamento che restituisce una previsione calibrata sulla possibilità di negare plausibilmente l’autenticità: una ricostruzione fedele ottenuta con un qualsiasi generatore noto stabilisce tale possibilità, mentre la calibrazione pone un limite alla frequenza con cui non si riesce a riprodurre contenuti provenienti da generatori noti. La nostra valutazione mostra che (i) il nostro rilevatore può essere calibrato in modo che al massimo l’1% dei contenuti generati venga certificato erroneamente, una soglia operativa alla quale la maggior parte dei rilevatori di riferimento ha un richiamo vicino allo zero, incluso il migliore, che ha un’accuratezza del 93%; (ii) calibrare una soglia di sicurezza più rigorosa su campioni sottoposti ad attacco mantiene questo limite anche contro avversari adattivi, nell’ambito dello spazio valutato degli attacchi basati su perturbazioni limitate, le cui perturbazioni mettono in crisi tutti i rilevatori di riferimento, ma non offre garanzie rispetto a trasformazioni avversarie arbitrarie; e (iii) la verificabilità a posteriori si sta riducendo: 1.116 immagini di Reddit su 3.000 resistono alla riproduzione da parte di un generatore del 2022, ma solo da 55 a 79 resistono alla riproduzione da parte di generatori del 2024.