Apprendimento con sezioni temporali per rilevare i video generati dall’IA con 400$\times$ FLOP in meno

Abstract degli autori

I recenti progressi dei modelli di generazione video hanno migliorato il realismo visivo, rendendo il rilevamento sempre più dipendente da sottili incoerenze temporali. Questi segnali, però, sono deboli e localizzati nello spazio, mentre gran parte del contenuto dei video è ridondante. Ne deriva uno squilibrio fondamentale: i sistemi di rilevamento esistenti si affidano a backbone complessi per modellare interi video, con costi computazionali elevati e una scalabilità limitata. In questo lavoro ripensiamo il rilevamento dei video generati dall’IA dal punto di vista della rappresentazione. Anziché modellare interi video, li riorganizziamo in rappresentazioni compatte a sezioni temporali, che isolano l’evoluzione temporale più informativa. Introduciamo un framework leggero basato sull’apprendimento della coerenza delle sezioni temporali sensibile alla frequenza: righe e colonne spaziali informative vengono aggregate nel tempo per formare input nel dominio delle sezioni. Questa riparametrizzazione riduce le informazioni visive ridondanti, preservando le dinamiche temporali utili a distinguere i video generati, e consente un rilevamento efficiente e mirato. Costruendo sezioni sia da regioni ad alta frequenza sia da regioni a bassa frequenza, il nostro metodo mette in evidenza artefatti temporali complementari, tra cui dettagli instabili e una fluidità anomala del movimento. Realizziamo questa idea in una Temporal Slice Consistency Network, che integra la localizzazione delle sezioni guidata dal compito, una codifica posizionale gerarchica e un Transformer leggero per modellare le dipendenze tra sezioni e tra frequenze. Introduciamo inoltre AI-Artist, un nuovo benchmark con video selezionati da artisti e prodotti da recenti generatori ad alta fedeltà, tra cui Seedance e Kling. Gli esperimenti su GenVideo e AI-Artist mostrano che il nostro metodo ottiene prestazioni elevate, richiedendo oltre 400$\times$ meno FLOP per il passaggio in avanti del modello e offrendo un’inferenza del modello 3,6$\times$ più veloce rispetto a ReStraV, un solido sistema di riferimento basato sui video (2,9$\times$ più veloce dall’inizio alla fine, inclusa la pre-elaborazione). Ciò ne consente un impiego pratico e su larga scala.