Vederlo, dirlo, risolto: diagnosi meccanicistica e mitigazione nello spazio dei parametri del disallineamento emergente negli LLM

Abstract degli autori

Gli LLM allineati per la sicurezza possono mostrare un disallineamento emergente (EM): un adattamento a un dominio ristretto provoca inaspettatamente gravi fallimenti di sicurezza in domini non correlati. Le precedenti analisi statiche non ricostruiscono le dinamiche dell’addestramento, mentre le difese esistenti si basano su euristiche che riducono l’utilità dei modelli. Presentiamo uno studio geometrico dinamico, del secondo ordine, dell’EM. Il tracciamento delle traiettorie di addestramento rivela che la curvatura direzionale della matrice hessiana si concentra nettamente sui token semantici decisivi. Le proiezioni grassmanniane mostrano che, nella maggior parte delle configurazioni, il divario tra comportamenti nocivi e sicuri si amplia soprattutto perché diminuisce la sovrapposizione con i gradienti sicuri. Sulla base di questi risultati, introduciamo un Geometric Mitigation Framework a livello dei parametri che rimuove dagli aggiornamenti dei parametri, mediante proiezione ortogonale, il sottospazio empirico dei gradienti nocivi. Su Qwen2.5-14B-IT, la nostra difesa riduce fino all’80,0% l’EM nella generazione libera; nelle altre tre delle quattro famiglie di modelli a pesi aperti basati su istruzioni (3B--20B), in cui l’EM comportamentale a livello di singolo strato è già prossima allo zero, una valutazione con teacher forcing mostra che lo stesso sottospazio nocivo controlla il supporto condizionale delle risposte EM congelate. È importante sottolineare che queste analisi diagnostiche smascherano l’illusione della sicurezza comportamentale: lo stesso sottospazio resta misurabile e controllabile nei modelli in cui l’EM comportamentale è prossima allo zero. Codice: https://github.com/WeiqiaoQUE/mechanistic-emergent-misalignment.