VeriSpoof: oltre il vero o il falso con un solo LLM audio

Abstract degli autori

Un rilevatore di deepfake vocali stima se una registrazione è sintetica, ma un analista forense si chiede anche quale sistema l’abbia prodotta, se le registrazioni condividano una fonte e quali prove sostengano ciascuna conclusione. Presentiamo VeriSpoof, un modello linguistico audio che riunisce cinque compiti con pesi condivisi: rilevamento dei deepfake, attribuzione del generatore (generatore, modello acustico e vocoder), analisi delle condizioni di registrazione, localizzazione dei segmenti sintetizzati e verifica della fonte. Ogni decisione è accompagnata da motivazioni fondate su elementi concreti, le cui affermazioni possono essere verificate in modo indipendente. Le risposte vengono valutate in base alla verosimiglianza delle frasi, consentendo di fissare soglie per il rilevamento e la verifica della fonte senza ricorrere a head separati. Le affermazioni delle motivazioni possono essere confrontate con misurazioni della forma d’onda, etichette dei segmenti o metadati del generatore. Esempi controfattuali addestrano il modello a basare le decisioni sulle prove dichiarate. Nei 14 set di test di Speech-DF-Arena, VeriSpoof-Plus ottiene un EER aggregato del 2,14%, classificandosi terzo su 28 sistemi e primo tra quelli con pesi aperti. VeriSpoof-Base, addestrato solo sugli split ufficiali di training di otto corpora, ottiene un EER del 4,43%, meno della metà di quello del rilevatore successivo con pesi aperti. Con gli stessi pesi, VeriSpoof-Plus verifica se registrazioni provenienti da generatori non visti durante l’addestramento condividano una fonte, con un EER del 6,2%. Studi controllati mostrano che la rappresentazione audio determina il rilevamento, l’LLM determina il confronto tra registrazioni e la supervisione sulla fonte è necessaria per i fake basati su codec neurali. Le motivazioni con affermazioni verificabili individuano i fake parziali sfuggiti alle risposte in un solo passaggio (99,6% contro 78,4% su PartialEdit) e determinano le decisioni in presenza di modifiche non viste durante l’addestramento (99,5%). L’addestramento aggiorna solo 29,7 milioni dei 2,85 miliardi di parametri, consentendo di usare una singola GPU da 24 GB con il gradient checkpointing. Rilasciamo entrambi i modelli, il codice per l’inferenza, una demo e VeriSpoof-Bench, la suite di valutazione che copre queste domande.