Pristine Models

Abstract degli autori

L’addestramento su dati ampi e non filtrati consente di generare immagini di alta qualità, ma può anche insegnare ai modelli concetti che non dovrebbero essere generati. Limitare i dati di addestramento garantisce la sicurezza, ma riduce la qualità, perché gli esempi che contengono concetti non sicuri forniscono anche conoscenze utili che non sono di per sé non sicure. Gli approcci esistenti affrontano perlopiù questo compromesso a posteriori, attraverso il disapprendimento dei concetti, che può provocare una perdita catastrofica delle conoscenze apprese man mano che aumenta il numero dei concetti da rimuovere. Noi ci chiediamo invece se, durante il preaddestramento, sia possibile isolare le conoscenze relative ai concetti non sicuri in modo da potervi disabilitare l’accesso in fase di inferenza. Presentiamo Pristine Models, una nuova architettura per generare immagini a partire da testo, dotata di un meccanismo di attenzione che favorisce la separazione delle conoscenze sicure e non sicure in rami con parametri indipendenti. I parametri specifici di ciascun ramo vengono appresi durante l’addestramento, mentre il ramo non sicuro può essere scollegato in fase di inferenza. Su ImageNet, Pristine Models consentono una generazione più sicura conservando gran parte dei vantaggi del preaddestramento su tutti i dati e ottenendo una qualità delle immagini e una corrispondenza con il testo superiori rispetto all’addestramento sui soli dati sicuri o alla rimozione dei concetti a posteriori. Estendiamo inoltre il nostro approccio a CC12M, dimostrando che resta efficace in un contesto di preaddestramento open-world notevolmente più ampio e diversificato.