ASAP: analisi visiva per identificare e analizzare gli schemi nelle immagini generate dall’IA

Abstract degli autori

I modelli generativi di immagini possono produrre immagini estremamente realistiche, sollevando preoccupazioni circa il loro possibile uso improprio per creare contenuti ingannevoli. Gli attuali approcci ai deepfake presentano diverse sfide, tra cui una generalizzabilità limitata, la mancanza di interpretabilità e una scarsa traducibilità in azioni concrete. Per contribuire ad affrontare queste sfide, presentiamo ASAP, un sistema interattivo di visualizzazione progettato per consentire agli utenti di analizzare e riassumere gli schemi ingannevoli presenti nelle immagini generate dall’IA. ASAP introduce un nuovo encoder di immagini adattato a CLIP, che genera rappresentazioni interpretabili e consente di estrarre le regioni di pixel influenti tramite maschere calcolate. Questo approccio facilita l’identificazione delle principali caratteristiche ingannevoli mediante tecniche di misurazione dell’influenza. Queste tecniche, implementate nel backend, sono integrate in una dashboard di analisi visiva che permette agli utenti di quantificare e analizzare gli schemi indicativi di autenticità in raccolte composte da immagini autentiche e generate dall’IA. L’approccio supporta anche l’analisi comparativa di diversi modelli generativi, tra cui GAN e modelli di diffusione. Dimostriamo l’efficacia di ASAP attraverso uno studio con utenti e due scenari applicativi che utilizzano benchmark consolidati per il rilevamento di immagini false, mostrando la sua capacità di estrarre e quantificare efficacemente gli schemi ingannevoli.