DINO-FIL: fusione di più livelli del transformer per localizzare le falsificazioni mediante inpainting generativo

Abstract degli autori

Proponiamo DINO-FIL, un sistema basato su transformer per localizzare a livello di pixel le falsificazioni nelle immagini generate dall’IA. Il metodo sfrutta le rappresentazioni di più livelli di un encoder DINOv3 ViT-H+/16 preaddestrato, combinate con un decoder di fusione leggero, per cogliere sia la struttura semantica sia le sottili incongruenze nella texture introdotte dalla modifica delle immagini. Aggregando le caratteristiche dei livelli intermedi del transformer a diverse profondità, il modello diventa più sensibile agli artefatti poco evidenti e circoscritti nello spazio che gli approcci standard basati su un solo livello spesso non rilevano. Valutiamo DINO-FIL su più dataset, addestrandolo su B-Free e testandolo su Beyond the Brush, CocoGlide, TGIF e SAGI-D. Il modello mostra una forte capacità di generalizzazione: supera in media i metodi di riferimento esistenti e ottiene risultati migliori su quattro dei cinque dataset valutati, mantenendo un elevato tasso di veri negativi sulle immagini non alterate.