L’oblio è unificato? Esplorare il disapprendimento dei concetti nei modelli multimodali unificati

Abstract degli autori

I modelli multimodali unificati (UMM) integrano la generazione di immagini e la comprensione visiva, ma i metodi di disapprendimento esistenti, basati su un solo percorso, sono sufficienti a sopprimere i concetti bersaglio in entrambi gli ambiti? In questo lavoro studiamo il disapprendimento dei concetti tra percorsi diversi. Il nostro obiettivo è impedire a un modello sia di generare immagini di un concetto bersaglio sia di identificarlo nelle immagini in ingresso, preservando al contempo le altre capacità. A questo scopo, introduciamo UUBench, un benchmark diagnostico che copre 30 concetti bersaglio e 60 concetti vicini semanticamente correlati. Gli esperimenti condotti su UMM rappresentativi mostrano che i metodi valutati basati su un solo percorso ottengono risultati limitati nell’oblio congiunto: gli editor che agiscono sul versante della generazione sopprimono efficacemente la generazione dei concetti bersaglio, ma ottengono risultati limitati nell’oblio per quanto riguarda la comprensione visiva, mentre le baseline che agiscono sul versante della comprensione faticano a ottenere un oblio sostanziale persino nel proprio percorso. Anche la loro composizione diretta produce risultati limitati nell’oblio congiunto. Proponiamo quindi UniForget, che raggiunge tassi di oblio congiunto dell’80,0% su BAGEL-7B-MoT e del 92,7% su Janus-Pro-7B, superando le baseline rappresentative. Un’ulteriore analisi rivela compromessi tra l’oblio congiunto e la preservazione delle capacità.