The Pulse
XBreaking prende di mira i livelli di sicurezza in sette LLM a pesi aperti
Uno studio pubblicato il 10 ottobre descrive XBreaking, un attacco white-box che usa i componenti interni dei modelli per individuare e alterare i livelli legati al comportamento di sicurezza. I tassi di successo più alti riportati si basan
AI.info Team · Scritto con l’IA ·
Un nuovo attacco descritto dai ricercatori può indebolire il comportamento di sicurezza dei modelli linguistici a pesi aperti, ma i risultati più alti messi in evidenza derivano da una misura che gli stessi autori definiscono «simile a un oracolo». Pubblicato il 10 ottobre su Neural Computing and Applications, lo studio presenta XBreaking, che esamina le differenze tra modelli sottoposti a fine-tuning per la sicurezza e versioni prive di censura prima di alterare determinati livelli interni. I risultati indicano una vulnerabilità nei modelli che gli utenti possono ispezionare e modificare, non un metodo dimostrato per disattivare le protezioni di sistemi commerciali come Claude, GPT-4 o Gemini.
Che cosa modifica XBreaking all’interno del modello
L’approccio degli autori parte dall’accesso white-box sia a un modello sottoposto a fine-tuning per la sicurezza sia a una versione priva di censura della stessa famiglia. I ricercatori confrontano le attivazioni a livello dei singoli livelli e i pattern di attenzione, poi usano queste misurazioni per individuare i livelli che contribuiscono a distinguere le due versioni. XBreaking altera i livelli adiacenti a quelli selezionati, con l’obiettivo di indebolire la tendenza del modello a rifiutare le richieste senza comprometterne la capacità di produrre risposte scorrevoli.
Lo studio valuta sette modelli: due versioni di Llama, due di Qwen2.5, due di Gemma e Mistral-7B-v0.3. Per i test iniziali, i ricercatori usano 100 prompt relativi a comportamenti dannosi e 100 relativi a comportamenti innocui. Verificano inoltre se i livelli individuati con un dataset siano validi anche per AdvBench e HarmBench e se i pattern rilevati nei modelli più piccoli si trasferiscano a Llama-3.1-70B e Qwen2.5-72B.
«Proponiamo quindi XBreaking, un nuovo approccio che sfrutta questi pattern peculiari per aggirare i vincoli di sicurezza e allineamento degli LLM attraverso un’iniezione mirata di rumore.»
Marco Arazzi et al., autori dello studio
I punteggi più alti richiedono una precisazione
Lo studio riporta una misura del successo dell’attacco denominata «equilibrio ottimale», che seleziona l’impostazione del rumore migliore per ogni singolo caso. Gli autori descrivono esplicitamente questo risultato come un’analisi di sensibilità che fornisce un limite superiore: normalmente, chi conduce un attacco non saprebbe in anticipo quale impostazione sia la migliore per ciascun prompt. Con questa misura, lo studio riporta il 96% per Llama 3.1 8B e il 95,35% per Llama 3.2 1B; il dato riportato per Mistral-7B-v0.3 è il 35,56%.
Questa differenza conta. Gli autori osservano che il risultato di Mistral è inferiore e affermano che il singolo livello bersaglio selezionato potrebbe non bastare a compromettere sistematicamente il comportamento di sicurezza. Calcolano anche il successo medio dell’attacco tra le impostazioni del rumore testate, come misura più realistica sul piano operativo. I risultati di equilibrio ottimale messi in evidenza, però, non vanno interpretati come un tasso di successo generale che chi conduce un attacco può aspettarsi per ogni prompt.
Nei test su AdvBench e HarmBench, tenuti fuori dalla selezione iniziale, lo studio riporta tassi di successo dell’attacco come limite inferiore superiori al 70% per i modelli Llama e Qwen, con un picco dell’84,5% per Llama-3.1-8B. I ricercatori confrontano questi risultati con GCG e AutoDAN, attacchi basati su prompt che richiedono ottimizzazioni ripetute; secondo lo studio, XBreaking prevede una sola fase iniziale di fingerprinting, seguita da un basso costo computazionale per ciascun prompt.
L’accesso al modello limita la minaccia
XBreaking richiede l’accesso ai componenti interni del modello, inclusi i pesi e le attivazioni intermedie: lo studio quindi non dimostra che il metodo funzioni contro sistemi chiusi accessibili soltanto tramite API. Gli autori precisano che la valutazione riguarda modelli a pesi aperti e non si estende a GPT-4, Claude o Gemini. Per il confronto principale presuppongono inoltre l’accesso a una versione priva di censura della stessa famiglia, anche se testano il trasferimento ai modelli più grandi della stessa famiglia dei pattern dei livelli selezionati nei modelli più piccoli.
Nei test di trasferimento, lo studio riporta intervalli di successo dell’attacco secondo la misura di equilibrio ottimale dal 67,7% al 77,7% su Llama-3.1-70B e dal 57,0% al 67,7% su Qwen2.5-72B. Questi risultati mostrano una possibile strada per andare oltre le dimensioni dei modelli originali, ma restano soggetti alla necessità di accesso white-box e alla riserva relativa al punteggio simile a un oracolo. Gli autori riportano anche un calo delle prestazioni nei compiti innocui dopo l’alterazione, la cui entità varia nettamente a seconda della famiglia di modelli.
La dichiarazione sul duplice uso dello studio
I ricercatori riconoscono che i loro metodi, il codice e i risultati potrebbero aiutare gli utenti a compromettere le protezioni dei modelli aperti, ma sostengono che questi modelli siano già disponibili pubblicamente ed eseguibili in locale. Presentano il lavoro sia come un attacco sia come un modo per mettere alla prova le difese dei modelli. Per chi gestisce i modelli, il risultato pratico è più circoscritto di quanto suggeriscano i dati messi in evidenza: modificare i pesi interni di un modello può comprometterne il comportamento di sicurezza e l’effetto varia notevolmente tra le diverse architetture.