CLaW: Filigranatura latente adattiva guidata da codec per la generazione tracciabile di immagini tramite diffusione

Abstract degli autori

Con il rapido progresso dei modelli di diffusione da testo a immagine, i contenuti generati dall’IA, sempre più realistici, hanno sollevato serie preoccupazioni riguardo agli usi impropri e alle violazioni del copyright. La filigranatura digitale offre una soluzione promettente, perché consente la tracciabilità a livello di utente; tuttavia, i metodi esistenti sono ancora difficili da implementare su larga scala, ostacolati dalla necessità di costosi riaddestramenti dei modelli o di rilevamenti onerosi, da compromessi poco favorevoli tra efficacia e fedeltà e da una robustezza limitata alle trasformazioni delle immagini. Per affrontare queste sfide, proponiamo CLaW (Codec-guided Latent Watermarking), un framework di filigranatura robusto ed efficiente per la generazione tracciabile di immagini tramite diffusione, che utilizza backbone di diffusione congelati e un rilevamento senza inversione. In particolare, CLaW usa innanzitutto un codec per la filigrana preaddestrato per mappare ogni messaggio della filigrana in un residuo latente, consentendo un’iniezione a basso costo durante il campionamento. Il residuo viene quindi iniettato in una finestra tardiva del processo di denoising, in cui la semantica dell’immagine viene preservata meglio e il segnale della filigrana è meno perturbato dai successivi aggiornamenti del denoising, ottenendo così un migliore equilibrio tra l’efficacia della filigrana e la fedeltà dell’immagine. Inoltre, introduciamo un meccanismo di iniezione adattiva guidato dal decoder, che utilizza la confidenza della decodifica come feedback per calibrare dinamicamente la forza della filigrana, rafforzando i segnali deboli e migliorando la robustezza alle trasformazioni delle immagini. Esperimenti approfonditi dimostrano che CLaW preserva un’elevata fedeltà visiva e raggiunge una robustezza all’avanguardia alle trasformazioni delle immagini, consentendo una tracciabilità affidabile a livello di utente.