Le direzioni a forte curvatura giocano a tuo sfavore: analisi della curvatura nello steering delle attivazioni

Abstract degli autori

Lo steering delle attivazioni consiste nell’aggiungere un vettore alle rappresentazioni interne di un modello linguistico durante l’inferenza. È un’alternativa leggera al fine-tuning per controllarne il comportamento. Il metodo standard, l’aggiunta contrastiva di attivazioni (CAA), è fragile: su molti input modifica il comportamento nella direzione sbagliata. Per spiegare questa fragilità, studiamo innanzitutto la geometria del vettore di steering. Introduciamo l’Hessiana dello steering, la matrice delle derivate seconde della funzione di perdita relativa al comportamento del modello rispetto al vettore di steering. Questa matrice misura la sensibilità della risposta comportamentale del modello a piccole perturbazioni del vettore lungo ciascuna direzione. Gli autovettori principali individuano le direzioni a forte curvatura: perturbazioni minime lungo queste direzioni possono provocare ampie variazioni del comportamento, irregolari e dipendenti dall’input. Gli autovettori associati agli autovalori più bassi individuano invece le direzioni piatte, lungo le quali il comportamento è robusto. Rimuovere la componente a forte curvatura di un vettore di steering ne preserva approssimativamente la direzione e l’ampiezza (coseno > 0,974, riduzione della norma < 3% nelle configurazioni tipiche), riducendone al tempo stesso la curvatura direzionale fino a 12 volte (mediana di 4 volte su 36 condizioni). Conduciamo la valutazione su tre famiglie di modelli (Qwen2.5-7B, Llama-3.1-8B, Mistral-7B), quattro compiti comportamentali e 36 condizioni a livello di token. Lo steering lungo le direzioni a forte curvatura inverte il comportamento desiderato in tutte le condizioni esaminate, con tassi di anti-steering del 53-100%. Queste direzioni rappresentano soltanto l’1-5% della norma al quadrato del vettore CAA. Tuttavia, durante la generazione autoregressiva, contribuiscono in misura sproporzionata alla differenza tra le distribuzioni del token successivo con e senza steering. Chiamiamo questa correzione di una sola riga sharp removal: nella generazione aperta supera la CAA standard in tutte le 25 condizioni esaminate. Un esperimento di jailbreaking mostra inoltre che le direzioni a forte curvatura agiscono come rumore, non come segnale: compromettono il controllo coerente del comportamento indipendentemente dalla polarità dello steering.