The Pulse

Ricercatori Microsoft mostrano che modifiche ai neuroni possono inserire backdoor negli agenti di IA

Alcuni ricercatori Microsoft descrivono un metodo per inserire una backdoor nascosta in un agente di IA modificando meno di 10 neuroni del modello. L’azienda afferma di non aver osservato attori malevoli utilizzare la tecnica.

AI.info Team · · verificato · su 3 fonti ↓ · Pubblicato 11 nov 2026

Alcuni ricercatori Microsoft hanno mostrato come la modifica di meno di 10 neuroni in un modello di IA possa inserire una backdoor nascosta in un agente basato su quel modello, secondo un articolo di Microsoft Research pubblicato il 10 novembre. Il metodo, chiamato Lazarus, può indurre un agente a impartire un comando scelto da un attaccante quando incontra un elemento di attivazione prestabilito, senza addestrare il modello.

Il lavoro è stato pubblicato come preprint. Il team di threat intelligence di Microsoft ha dichiarato che l’azienda non ha osservato attori malevoli utilizzare la tecnica.

Un elemento di attivazione nascosto

L’attacco richiede accesso in scrittura a un checkpoint del modello, il modello memorizzato i cui pesi vengono modificati. Secondo l’articolo di ricerca, un account, una pipeline o un sistema di archiviazione compromessi potrebbero fornire tale accesso. L’articolo afferma che anche i modelli sviluppati internamente sono esposti.

Secondo i ricercatori, l’elemento di attivazione può essere una normale stringa presente in qualsiasi punto del contesto di un agente. In un esempio, un cambio di data induce un agente, mentre è impegnato in un compito, a emettere un comando che scarica ed esegue codice dell’attaccante. Il comando verrebbe eseguito con i permessi di accesso di cui dispone l’agente.

Lazarus prende di mira neuroni inattivi nell’ultimo blocco feed-forward del modello. Quando compare l’elemento di attivazione, i neuroni modificati promuovono i token che compongono il payload. Secondo il preprint, un payload richiede la modifica di circa un neurone per ogni token.

I pesi vengono impostati direttamente e possono essere ulteriormente perfezionati separatamente con alcune centinaia di passaggi di gradiente. Il ricercatore principale Dimitris Papailiopoulos ha scritto che il lavoro è iniziato con un esperimento in cui ha chiesto a Claude Code con Opus 4.5 di inserire una backdoor in un modello modificandone le attivazioni senza addestrarlo.

Il preprint attribuisce a Claude Code con Opus 4.5 la scoperta autonoma dell’intuizione centrale: i neuroni inattivi potevano essere modificati e concatenati per produrre un payload composto da più token.

Risultati e rilevamento

Nei test su Nemotron-Terminal-8B, i ricercatori hanno adattato sette neuroni su oltre 12.000 usando 23 traiettorie con e senza l’elemento di attivazione. Secondo il preprint, il payload è apparso in almeno il 98,8% delle traiettorie riservate al test che contenevano l’elemento di attivazione e mai in quelle benigne.

Gli autori riferiscono inoltre che Qwen 3.6-27B e Gemma-4-31B-IT erano ugualmente vulnerabili. I risultati riportati descrivono la comparsa del payload nelle traiettorie di test; i permessi di accesso di cui dispone un agente determinano ciò che un comando può fare se eseguito.

In un test di rilevamento separato, difese costruite da agenti, a cui non era stato fornito un modello di riferimento, hanno segnalato il 91,4% dei checkpoint modificati riservati al test, con un tasso di falsi positivi del 9,7%, secondo il preprint. Papailiopoulos ha avvertito che nessuna scansione può dimostrare oltre ogni dubbio che un modello sia sicuro. Ha scritto che un rilevamento affidabile richiede il confronto con i pesi originali, non modificati.

Controlli e sviluppo dei prodotti

Microsoft Threat Intelligence raccomanda di confrontare i checkpoint con il modello di base dichiarato prima della distribuzione e dopo gli aggiornamenti, segnalando le modifiche insolite e rifiutando i modelli privi di una base verificabile. Raccomanda inoltre di effettuare scansioni comportamentali alla ricerca di backdoor e di registrare i risultati delle verifiche insieme ai modelli.

Le linee guida dell’azienda prevedono di limitare i permessi degli agenti, eseguire il codice generato dagli agenti in sandbox isolate e richiedere l’approvazione umana per le chiamate a strumenti ad alto impatto. Raccomandano inoltre di monitorare l’attività degli agenti durante l’esecuzione.

Microsoft afferma che il suo servizio Foundry verifica la provenienza dei modelli, associa i modelli con pesi aperti a editori affidabili e analizza l’ambiente software circostante prima di integrarli. L’azienda sta sviluppando ulteriori difese, tra cui la scansione dei pesi basata sull’IA, strumenti per esaminare modifiche anomale ai modelli e la firma dei modelli con provenienza verificabile e registri di verifica.