AV-FABLE: analisi forense delle manipolazioni audiovisive nei video di lunga durata

Abstract degli autori

Le manipolazioni localizzate con l’IA nei video di lunga durata spesso interessano brevi eventi all’interno di contenuti per il resto autentici: classificare il video nel suo insieme non basta quindi per un’analisi forense. I benchmark esistenti sui deepfake audiovisivi si concentrano soprattutto su brevi clip di persone che parlano, mentre l’analisi forense temporale dei video lunghi resta prevalentemente visiva. Presentiamo AV-FABLE, un benchmark a doppia linea temporale per manipolazioni sparse in video audiovisivi di lunga durata a scena aperta. AV-FABLE comprende 16.650 coppie gemelle di video originali e manipolati (998 ore), create con 27 configurazioni di editing. Le linee temporali separate per audio e video consentono di localizzare le manipolazioni nel tempo per ciascuna modalità e rendono visibili errori che una valutazione basata su una linea temporale congiunta nasconde. Su AV-FABLE, il prompting zero-shot dei modelli linguistici di grandi dimensioni audiovisivi (AV-LLM) produce risultati di rilevamento vicini a quelli del caso e una scarsa localizzazione temporale. Al contrario, letture supervisionate delle loro caratteristiche percettive mantenute fisse recuperano forti segnali forensi. Questo suggerisce che le tracce delle manipolazioni siano codificate in tali rappresentazioni, ma non emergano efficacemente negli output linguistici. Sulla base di questa osservazione, proponiamo NFSR(Native Forensics via Separated Readouts), che legge le caratteristiche mantenute fisse degli AV-LLM mediante decoder temporali separati per audio e video. NFSR ottiene le migliori prestazioni nella localizzazione audiovisiva sia nel dominio sia in tutti e tre gli scenari fuori distribuzione, compreso il trasferimento a video tenuti da parte provenienti da un benchmark esterno di analisi forense dei video lunghi. AV-FABLE, il codice e i pesi del modello saranno resi pubblici.