The Pulse
IBM addestra i modelli Granite a resistere alla prompt injection
Gli autori di IBM Research riferiscono che il post-training con LLMON ha ridotto il tasso di successo degli attacchi fino allo 0,02% su due benchmark di prompt injection indiretta. Una valutazione red team ha rilevato una protezione meno ef
AI.info Team · Scritto con l’IA · verificato ·
Risultati vicini allo zero alla prova di un test red team più severo
Secondo un nuovo studio di autori di IBM Research, addestrare i modelli a distinguere le istruzioni dai dati ha ridotto i tassi di successo della prompt injection fino allo 0,02% su due benchmark pubblicati. Ma un esercizio red team separato, condotto nell’ambito dello stesso studio, ha rilevato che gli attacchi indiretti andavano ancora a buon fine abbastanza spesso da ridimensionare il risultato principale, mentre quelli diretti e multi-turno si sono rivelati ancora più difficili da fermare.
Lo studio del 28 ottobre valuta LLMON, abbreviazione di LLM Object Notation, su due modelli Granite-4.1. I risultati suggeriscono che un addestramento strutturato può ridurre drasticamente gli attacchi nascosti nei documenti o negli output degli strumenti, ma non dimostrano che l’approccio elimini la prompt injection in ogni contesto.
«I nostri risultati dimostrano che una semantica di esecuzione esplicita può essere insegnata attraverso il post-training standard, senza modifiche architetturali».
Basel Shbita et al., «Post-Training Large Language Models with LLMON»
LLMON associa ogni compito a input identificati
LLMON separa le istruzioni dal materiale passivo usando blocchi tipizzati con identificatori univoci. Un blocco di esecuzione indica le specifiche istruzioni e i dati che il modello deve usare; il testo all’interno di un documento o della risposta di uno strumento resta un dato, a meno che il blocco di esecuzione non vi faccia riferimento come a un’istruzione.
I ricercatori hanno addestrato i modelli base Granite-4.1-3B e Granite-4.1-8B su un corpus strutturato di 4,6 miliardi di token, comprendente esempi di istruzioni generali, generazione aumentata dal recupero di informazioni e chiamata di strumenti. Il corpus includeva anche esempi con istruzioni avversarie e distrattori inseriti intenzionalmente: la risposta prevista seguiva il compito effettivo, non i comandi incorporati nei dati.
L’addestramento ha combinato fine-tuning supervisionato, apprendimento per rinforzo e una fase finale di ottimizzazione delle preferenze. Il fine-tuning è durato tre epoche su 4,4 milioni di esempi; lo studio descrive i modelli finali come versioni sottoposte a post-training dei checkpoint base di Granite-4.1.
Gli attacchi tramite testo calano più di quelli nelle osservazioni degli strumenti
Nel benchmark OPI, che verifica gli attacchi incorporati nei dati del compito, il tasso di successo è sceso dal 100% allo 0,1% per il modello 3B e dal 96,3% allo 0,02% per il modello 8B. Nel benchmark ASB, in cui le istruzioni malevole arrivano nelle osservazioni degli strumenti di un agente, il tasso di successo è sceso dal 99,2% al 5,6% per il modello 3B e dal 52,8% al 3,1% per il modello 8B.
La differenza è significativa: «vicino allo zero» descrive più precisamente i risultati delle iniezioni nel testo che quelli delle osservazioni degli strumenti. Lo studio riporta anche una valutazione red team ARES separata, che misura la robustezza anziché il successo degli attacchi. Per gli attacchi indiretti, la robustezza è salita dal 2,8% all’84,6% sul modello 3B e dallo 0,7% al 79,8% sul modello 8B: i risultati red team indicano quindi che una quota significativa di attacchi continua ad andare a buon fine.
Gli attacchi diretti e multi-turno restano un punto debole
I ricercatori riferiscono miglioramenti molto più contenuti quando gli attacchi arrivano sotto forma di istruzioni dirette dell’utente o si sviluppano su più turni. Nella valutazione ARES, dopo l’addestramento con LLMON, la robustezza contro gli attacchi diretti ha raggiunto il 37,1% per il modello 3B e il 32,7% per il modello 8B; per gli attacchi multi-turno ha raggiunto rispettivamente il 28,0% e il 37,0%.
Questa differenza riflette i limiti del metodo: è progettato per impedire a input non affidabili di prendere il controllo, non per bloccare un utente che formula una richiesta dannosa o che orienta gradualmente una conversazione verso una richiesta di questo tipo. Gli autori descrivono l’approccio come una difesa contro l’iniezione indiretta, non come una risposta autonoma a ogni forma di prompting avversario.
I punteggi delle capacità tengono, tra costi e questioni aperte
Lo studio riferisce che la media del modello 3B su sei categorie di capacità è rimasta a 66,7, pari a quella del modello di riferimento ottimizzato sulle istruzioni. La media del modello 8B è scesa da 74,2 a 72,8; il suo punteggio in matematica è calato da 84,1 a 79,6. I punteggi di sicurezza sono migliorati per entrambe le dimensioni, mentre gli autori affermano che le capacità sono state sostanzialmente preservate.
La valutazione riguarda due dimensioni di modelli di un’unica famiglia e, secondo gli autori, il trasferimento ad altre architetture e ad altri corpus di addestramento non è ancora stato verificato. I delimitatori di LLMON aumentano la lunghezza del contesto di circa il 7%-15%, a seconda della complessità degli esempi; lo studio non quantifica l’impatto che ne deriva sulla latenza di inferenza o sulla velocità di elaborazione. Il suo risultato migliore sui benchmark è dunque una riduzione misurata su test specifici, non la prova che l’addestramento strutturato faccia sparire la prompt injection.