PatchBench: misurare i danni collaterali nel patching delle attivazioni

Abstract degli autori

Una patch di sicurezza per un LLM può superare un benchmark e rivelarsi comunque una cattiva soluzione. Il rischio è particolarmente alto quando si interviene per correggere un jailbreak: l’obiettivo è eliminare uno specifico comportamento non sicuro senza modificare comportamenti non correlati. Una patch può bloccare esattamente i prompt usati nella valutazione ma fallire su varianti dannose molto simili, oppure impedire il comportamento dannoso rifiutando anche prompt benigni che ne condividono la formulazione o la struttura. I protocolli esistenti verificano soprattutto se i modelli possano essere violati, mentre le metriche aggregate — successo degli attacchi, tassi di rifiuto, capacità globali — non distinguono le correzioni selettive da una soppressione locale più ampia. Per colmare questa lacuna, presentiamo PatchBench, un benchmark di casi di jailbreak riusciti, osservati empiricamente e specifici per ciascun modello, che inducono risposte dannose utilizzabili concretamente. Partendo da 27.870 prompt provenienti da 37 dataset pubblici, selezioniamo 15.314 prompt in inglese e li sottoponiamo a 8 modelli open source ottimizzati per seguire istruzioni. Combinando il filtraggio con WildGuard, una classifica Elo basata su confronti a coppie e una verifica manuale, otteniamo una raccolta selezionata di 400 casi di jailbreak riusciti con elevato grado di certezza. Introduciamo inoltre PatchBench-Local, un protocollo di valutazione che verifica se una patch sia precisa sul piano del comportamento. Per ogni prompt dannoso di partenza, PatchBench-Local genera tre categorie di prompt vicini: varianti dannose che conservano l’intento malevolo, prompt benigni con una struttura corrispondente e prompt benigni che riutilizzano termini chiave del prompt dannoso. Il protocollo valuta la correzione dei prompt dannosi vicini e la preservazione di quelli benigni, distinguendo le correzioni selettive dalla soppressione locale più ampia. La valutazione di quattro metodi di steering delle attivazioni con PatchBench-Local e MMLU mostra che le capacità globali possono restare pressoché invariate anche quando i peggioramenti sui prompt benigni vicini sono gravi, confermando che le metriche aggregate non rilevano importanti danni collaterali. PatchBench-Local offre una base più precisa per sviluppare e confrontare i metodi di correzione dei jailbreak.