Rendere possibile il disapprendimento guidato dalle preferenze nei modelli di diffusione testo-immagine distillati a pochi passaggi

Abstract degli autori

I modelli di diffusione testo-immagine vengono sempre più spesso distillati in varianti a pochi passaggi e impiegati per consentire un’inferenza rapida. Tuttavia, la loro capacità di generare contenuti dannosi o indesiderati comporta rischi significativi per la sicurezza. I metodi di disapprendimento basati sui dati sopprimono le generazioni mirate attraverso il fine-tuning dei pesi del modello, usando funzioni obiettivo specifiche per il disapprendimento. Un aspetto cruciale è che queste funzioni obiettivo presuppongono implicitamente dinamiche di rimozione del rumore in più passaggi: un presupposto che non vale per i modelli distillati a pochi passaggi (FSD), con il risultato che il disapprendimento è inefficace. Inoltre, applicare il disapprendimento al modello di base non distillato e poi distillarlo nuovamente per ottenere un modello FSD che abbia disappreso ciò che si vuole rimuovere comporta un notevole costo in termini di calcolo e tempo, rendendo questa strada impraticabile in molti contesti. Per superare tale limite, proponiamo un metodo di disapprendimento guidato dalle preferenze che riesamina la Direct Preference Optimization (DPO) per i modelli di diffusione. Mostriamo che la DPO standard e le sue varianti per il disapprendimento, formulate in termini di errore di previsione del rumore, si trasferiscono con scarsi risultati ai modelli FSD a causa delle loro diverse dinamiche di generazione. Per ovviare a questo problema, introduciamo una formulazione modificata dell’ottimizzazione delle preferenze, esplicitamente allineata alle caratteristiche della generazione a pochi passaggi. Questo consente di rimuovere direttamente i concetti dai modelli FSD, preservando l’efficienza dei pochi passaggi e mantenendo in larga misura le capacità desiderabili (non mirate). Valutiamo il nostro metodo principalmente in compiti di rimozione dell’identità e di contenuti NSFW (nudità), e lo estendiamo anche al disapprendimento a livello di oggetti. Numerosi esperimenti dimostrano un disapprendimento efficace e costante e un’elevata capacità di conservare le capacità desiderabili, confermando che il nostro metodo è una soluzione pratica e fondata su principi solidi per il disapprendimento nei modelli FSD.