SpectralCanary: tracce a bassa frequenza sorprendentemente semplici per verificare l’uso dei dataset nei modelli T2I

Abstract degli autori

È difficile verificare se un modello text-to-image (T2I) sia stato sottoposto a fine-tuning su una particolare raccolta di immagini: il modello può assimilare caratteristiche visive proprie della raccolta senza riprodurre le immagini usate per l’addestramento. Nella verifica proattiva dell’uso di un dataset, si inserisce un segnale comune nel dataset prima della sua pubblicazione e si controlla in seguito se quel segnale compare nelle immagini generate da un modello sospetto. Gli approcci esistenti spesso impongono compromessi tra verificabilità, fedeltà, robustezza e facilità di adozione. Presentiamo $\textbf{SpectralCanary}$, che usa una maschera passa-basso con transizione graduale per fondere un’immagine canary fissa in ogni immagine della raccolta, lasciando invariate le didascalie e senza richiedere né generazioni ausiliarie né ottimizzazioni per singola immagine. Un verificatore leggero rileva il segnale trasferito nelle immagini generate dal modello sospetto. In otto test sul dataset Pokemon e con tre trasformazioni realistiche dei dati, su due famiglie di architetture, SpectralCanary ottiene, tra i metodi valutati, la TPR media per singola generazione più alta a $1\%$ di FPR ($91.1\%$) e la più alta accuratezza a livello di modello con soglia fissa usando 30 generazioni ($94.8\%$). Su cinque dataset dei settori artistico, medico, satellitare e della moda, con SD3.5, SpectralCanary raggiunge in media una TPR per singola generazione del $92.4\%$ a $1\%$ di FPR, preservando le immagini pubblicate (SSIM $0.989$, LPIPS $0.022$) e mantenendo una variazione media del FID prossima allo zero tra i dataset (media del $Δ$FID $0.05$). Gli studi di ablazione a parità di energia su Pokemon e ROCOv2 corroborano la nostra scelta progettuale: collocare il segnale alle basse frequenze ne rende il trasferimento più affidabile rispetto alla collocazione alle frequenze medie o alte. Tra gli attacchi adattivi valutati, la rimozione più efficace richiede modifiche drastiche e comporta oltre $25$ punti di $Δ$FID. Questi risultati indicano che i segnali visivi a bassa frequenza sono veicoli efficaci per le tracce di verifica dell’uso di intere raccolte nei modelli T2I.