Verso l’allineamento multi-valore attraverso la localizzazione dei valori negli LLM

Abstract degli autori

Allineare i modelli linguistici di grandi dimensioni (LLM) a molteplici valori umani, potenzialmente in conflitto, resta difficile: i metodi di allineamento multi-obiettivo esistenti richiedono spesso un fine-tuning costoso e offrono una comprensione limitata dei meccanismi interni alla base dei comportamenti legati ai valori. In questo lavoro studiamo l’allineamento multi-valore dal punto di vista dell’interpretabilità meccanicistica, individuando negli LLM teste di attenzione sensibili ai valori (teste dei valori). Con un framework di localizzazione dei valori basato su probing, scopriamo insiemi sparsi di teste di attenzione associati a diverse dimensioni, che comprendono sia valori umani (per esempio, l’innocuità e l’onestà) sia preferenze stilistiche (per esempio, la coerenza e la complessità). Le analisi condotte su più famiglie di LLM rivelano una specializzazione funzionale e interazioni strutturate tra le teste dei valori, compresi i conflitti tra determinati valori. L’ablazione mirata delle teste induce inoltre cambiamenti comportamentali sostanziali e specifici per ciascun valore, fornendo prove causali della loro importanza funzionale. Sulla base di questi risultati, proponiamo una strategia di direzionamento delle attivazioni al momento dell’inferenza, che consente un allineamento controllabile a singoli valori o a combinazioni di valori senza aggiornare i parametri del modello sottostante, come supportato dall’analisi teorica. Gli esperimenti condotti su diversi benchmark di allineamento ai valori dimostrano un controllo efficace su valori singoli e multipli, preservando in larga misura le prestazioni del modello sugli aspetti non target. I nostri risultati collegano l’interpretabilità meccanicistica all’allineamento flessibile a più valori, offrendo una base per comportamenti degli LLM più interpretabili e pluralistici. Il codice è disponibile all’indirizzo https://github.com/sihuo-design/ValueHeads.