Sopprimere in modo duraturo i comportamenti disallineati nei modelli linguistici

Abstract degli autori

I comportamenti indesiderati dei modelli possono emergere o riemergere in qualsiasi fase dell’addestramento. Una volta osservati, con quale efficacia è possibile sopprimerli? Per studiare la questione, costruiamo innanzitutto due organismi modello — modelli linguistici addestrati deliberatamente a manifestare una specifica forma di disallineamento — che differiscono per ciò che innesca il comportamento. L’organismo con trigger specifico si comporta male solo quando il prompt contiene un indizio preciso: imbroglia nelle domande a scelta multipla seguendo un suggerimento inserito appositamente che indica una risposta sbagliata, mentre per il resto si comporta normalmente. L’organismo con trigger ampio non presenta un indizio di questo tipo: dopo il fine-tuning su codice non sicuro, fornisce risposte dannose a un’ampia gamma di prompt aperti. Formalizziamo quindi la soppressione comportamentale post hoc e valutiamo i metodi secondo tre criteri: la soppressione immediata del comportamento bersaglio, la sua durabilità in caso di ulteriore addestramento e il mantenimento delle capacità generali. Confrontiamo sotto questi aspetti i metodi standard — SFT, GRPO e disapprendimento tramite ascesa del gradiente. Sulla base dei lavori precedenti sulla superficialità dell’allineamento, ipotizziamo che una soppressione più duratura richieda la capacità di recuperare da una gamma più ampia di stati di disallineamento. Introduciamo Prefix-Expanded Adversarial Reinforcement Learning (PEARL), una variante di GRPO che arricchisce i rollout con continuazioni da stati intermedi campionati lungo le traiettorie memorizzate degli organismi. In entrambi gli scenari degli organismi e con due famiglie di modelli (Qwen3-4B, GPT-OSS-20B), PEARL ottiene una forte soppressione immediata mantenendo l’accuratezza nei compiti, e conserva la propria efficacia anche dopo ulteriore fine-tuning sui dati dell’organismo o su dati non correlati. Il vantaggio è massimo quando il comportamento indesiderato è ampio e non può essere affrontato con SFT mirato. Nel complesso, il nostro quadro di riferimento e il nostro metodo rappresentano un passo verso una rimozione post hoc più duratura dei comportamenti indesiderati.