Venus-DefakerOne2: un modello fondazionale per l’analisi forense visiva con una copertura più ampia

Abstract degli autori

Le contraffazioni nel mondo reale sono intrinsecamente eterogenee: si manifestano non solo sotto forma di manipolazioni digitali, ma anche di spoofing fisico, e si presentano non solo nelle immagini, ma anche nei video. Nonostante i notevoli progressi, manca ancora un modello fondazionale unificato per contrastare le contraffazioni che copra uno spettro di minacce così ampio. In questo articolo presentiamo Venus-DefakerOne2, che amplia notevolmente i limiti delle capacità forensi sia rispetto alle forme di contraffazione sia ai tipi di media. Addestrato su decine di milioni di campioni open source e interni, incorpora due scelte progettuali fondamentali. Tide-Style-Tuning alterna LoRA e fine-tuning di tutti i parametri per bilanciare efficienza computazionale, capacità di generalizzazione e adattamento ai campioni difficili, mitigando al contempo l’oblio catastrofico. L’adattamento al test basato sull’entropia determina la modalità di predizione ottimale analizzando l’entropia delle predizioni. Venus-DefakerOne2 raggiunge prestazioni all’avanguardia su un’ampia serie di benchmark, tra cui volti DeepFake (96,7%), immagini generate dall’IA (93,3%), documenti manomessi (87,6%), immagini naturali manipolate (89,6%), spoofing fisici (93,1%) e video generati dall’IA (96,0%). Supera nettamente sia i modelli esperti specializzati sia il suo predecessore, DefakerOne, affermandosi come un modello fondazionale potente e versatile per i compiti forensi con decisione binaria.