Localizzazione adattiva della negazione della conoscenza per il disapprendimento continuo degli LLM

Abstract degli autori

Con la crescente diffusione dei modelli linguistici di grandi dimensioni (LLM) in ambiti diversi, le preoccupazioni relative alla loro sicurezza sono aumentate notevolmente. Il disapprendimento degli LLM si è affermato come un approccio fondamentale per rimuovere contenuti dannosi o illeciti preservando al contempo l’utilità. Nonostante il crescente interesse, le sfide del disapprendimento continuo, comune negli scenari reali, restano poco esplorate. Il susseguirsi di attività di disapprendimento porta spesso a un peggioramento più marcato dell’utilità. Per disapprendere efficacemente le conoscenze mirate preservando l’utilità degli LLM, è essenziale ridurre al minimo le modifiche ai parametri del modello aggiornando selettivamente quelli legati alle conoscenze bersaglio, così da garantire che le altre conoscenze rimangano inalterate. Partendo dal framework dei vettori di task, proponiamo un nuovo metodo denominato ALKN (Adaptive Localization of Knowledge Negation), che utilizza il mascheramento dinamico per rendere sparsi i gradienti di addestramento e regola in modo adattivo l’intensità del disapprendimento in base alle relazioni tra le attività. Esperimenti approfonditi su tre dataset consolidati per il disapprendimento degli LLM dimostrano che il nostro approccio supera costantemente i metodi di riferimento sia per efficacia del disapprendimento sia per mantenimento dell’utilità negli scenari di disapprendimento continuo.