Rilevamento dei deepfake basato sulla fisica attraverso la coerenza tra distanza e parlato

Abstract degli autori

I recenti progressi nei modelli generativi hanno reso i deepfake di persone che parlano molto realistici e facili da creare, mettendo a rischio la fiducia del pubblico. Tuttavia, la maggior parte dei sistemi di rilevamento dei deepfake audiovisivi si basa sulla sincronizzazione tra movimenti labiali e parlato ed è progettata per video statici e frontali. Questo ne limita l’affidabilità nelle registrazioni dinamiche in contesti reali, in cui chi parla si muove e i movimenti delle labbra sono poco distinguibili o assenti. In alternativa, proponiamo un sistema di rilevamento basato sulla fisica per video dinamici di persone che parlano, che sfrutta un vincolo acustico: nelle registrazioni reali, l’energia del parlato varia in modo prevedibile con la distanza tra chi parla e la telecamera, mentre la generazione di deepfake può interrompere questa relazione. Il nostro metodo combina stime della distanza ricavate dal video con misure acustiche del parlato dipendenti dalla distanza per rilevare i deepfake. Gli esperimenti su benchmark in contesti reali mostrano che l’indizio fisico proposto è efficace negli scenari dinamici e integra i sistemi di rilevamento basati sulla sincronizzazione labiale: un semplice ensemble ottiene miglioramenti costanti nei diversi dataset. I codici sono disponibili all’indirizzo https://byulharang.github.io/PADD/.