Resistere alle istruzioni dannose modificando i pesi senza addestramento

Abstract degli autori

I modelli linguistici addestrati a seguire istruzioni possono assecondare richieste in contrasto con i comportamenti previsti e con gli obiettivi di sicurezza. Presentiamo un metodo di modifica dei pesi senza addestramento per ridurre la conformità a specifiche istruzioni indesiderate. Il metodo richiede soltanto passaggi in avanti su un piccolo insieme di coppie di prompt per ciascun comportamento bersaglio. Poiché la modifica è memorizzata nei pesi del modello, cambiare o eliminare le istruzioni nel prompt non può annullarla. Valutiamo il metodo su due comportamenti dannosi indotti da istruzioni, la menzogna e il sessismo, in cinque modelli addestrati a seguire istruzioni. Su due benchmark relativi alla menzogna indotta da istruzioni, aumenta i tassi medi di risposte veritiere di 6,2 e 4,6 punti percentuali rispetto alla migliore alternativa: la differenza è significativa per tre dei cinque modelli e rientra nel rumore per gli altri due. In uno studio controllato su sette formati di prompt, mantiene tassi di risposte veritiere più elevati rispetto allo steering delle attivazioni su un singolo strato quando le istruzioni di mentire sono presentate in formati a turno singolo non usati per costruire la modifica. Per il sessismo indotto da istruzioni, riduce il tasso medio di risposte sessiste dal 57,9% al 24,3%; combinando la modifica con un prompt sull’equità, il tasso scende ulteriormente all’11,9%. Questi risultati mostrano che il nostro metodo di modifica dei pesi basato sul contrasto è un intervento efficace, senza addestramento, in due distinti ambiti comportamentali, e ne sostengono l’uso sia da solo sia insieme a misure di protezione basate sui prompt.