Vai al contenuto
AI.info

The Pulse

Uno studio rileva che le tracce del kernel migliorano il rilevamento degli attacchi agli agenti di IA

Uno studio pubblicato su arXiv il 24 settembre verifica se le tracce delle chiamate di sistema del sistema operativo possano aiutare a rilevare gli attacchi agli agenti di IA. Il suo benchmark, basato su 4.047 sessioni, rileva che combinare

Uno studio rileva che le tracce del kernel migliorano il rilevamento degli attacchi agli agenti di IA

AI.info Team · Scritto con l’IA · verificato ·

Il 24 settembre, alcuni ricercatori hanno pubblicato uno studio in cui sostengono che i controlli di sicurezza per gli agenti di IA dovrebbero guardare oltre ciò che l’agente dice e gli strumenti che richiama. Nei loro esperimenti affiancano a questi dati applicativi le tracce delle chiamate di sistema del sistema operativo: le operazioni di basso livello che il software compie per leggere file, eseguire comandi o stabilire connessioni di rete. Secondo lo studio, combinare le due prospettive aiuta generalmente i sistemi di rilevamento a distinguere le sessioni malevole da quelle innocue.

Il lavoro, «Sull’efficacia delle evidenze a livello di kernel per la sicurezza degli agenti», presenta Agent Cross-Layer Evidence, o ACE, un corpus di 4.047 sessioni di agenti. Secondo gli autori, i risultati mostrano che le evidenze del kernel possono fornire da sole un segnale utile, mentre i log applicativi e le tracce delle chiamate di sistema possono rivelare aspetti diversi di un attacco. L’articolo è un preprint e i suoi risultati riguardano il rilevamento nelle sessioni esaminate, non un sistema di sicurezza che blocca gli attacchi nelle implementazioni operative.

ACE abbina le trascrizioni alle chiamate di sistema

Ogni sessione di ACE abbina la trascrizione di un agente e un’istantanea degli strumenti a sua disposizione a una traccia delle chiamate di sistema effettuate all’interno del container dell’agente. Il corpus copre 17 modelli di minaccia, sei famiglie di vettori di attacco e 12 meccanismi di attacco; gli autori lo riconducono a 14 delle 25 categorie OWASP di minacce legate agli LLM e agli agenti. Gli scenari includono pacchetti di strumenti di terze parti manomessi, istruzioni malevole nascoste in file o contenuti web e richieste dannose presentate come attività ordinarie.

I ricercatori hanno valutato 10 sistemi di rilevamento appartenenti a quattro famiglie, confrontando le evidenze applicative, quelle del kernel e una prospettiva combinata. Le principali sessioni di ACE sono state acquisite usando Claude Haiku 4.5 all’interno dello strumento a riga di comando Claude Code. Per verificare le prestazioni su tipi di attacco esclusi dall’addestramento, lo studio ha usato anche gruppi tenuti da parte e allineati alle categorie OWASP, anziché basarsi soltanto su sessioni simili a quelle che i sistemi di rilevamento avevano già visto.

Le evidenze combinate aiutano a rilevare gli attacchi tenuti da parte

Nella valutazione fuori distribuzione dello studio, la combinazione delle due fonti di evidenze ha prodotto il punteggio più alto per l’area sotto la curva in sette dei 10 sistemi di rilevamento. La prospettiva combinata ha migliorato i punteggi dei modelli basati su alberi con boosting: AdaBoost ha raggiunto 0,840, rispetto a 0,733 con la migliore delle due prospettive basate su una sola fonte di evidenze, mentre XGBoost ha raggiunto 0,850, rispetto a 0,750. Gli autori hanno inoltre rilevato che le tracce del kernel potevano essere particolarmente informative quando l’attività malevola lasciava poche tracce nella trascrizione visibile di un agente.

Il beneficio variava a seconda del meccanismo di attacco. Per l’esfiltrazione silenziosa tramite logging, lo studio riporta un punteggio di 0,586 per la prospettiva applicativa e di 0,976 per quella del kernel; per l’iniezione nei riferimenti di recupero, le evidenze applicative hanno ottenuto un punteggio superiore a quelle del kernel. Questo contrasto sostiene la tesi dei ricercatori a favore della raccolta di entrambi i tipi di evidenze, anziché considerare un flusso un sostituto dell’altro.

Il benchmark presenta delle lacune

ACE verifica l’analisi delle sessioni: un sistema di rilevamento esamina le evidenze dopo che una sessione dell’agente si è conclusa. I risultati non dimostrano che l’approccio possa fermare un attacco prima che provochi danni, né che gli stessi punteggi si mantengano su altri sistemi in produzione. Il test di trasferibilità degli autori usa un corpus separato di 592 sessioni, realizzato con Devstral 2 123B di Mistral e una piccola struttura per agenti in Python; tre delle quattro famiglie di sistemi di rilevamento hanno superato la soglia di discriminazione fissata nello studio, mentre una no.

Lo studio individua anche attacchi che i suoi due flussi di evidenze, per come sono progettati, non possono rilevare, tra cui la pura manipolazione dei contenuti restituiti dagli strumenti, i canali temporali tra le chiamate e la steganografia basata sugli spazi bianchi. Il manifest degli strumenti viene registrato una sola volta, all’inizio della sessione, perciò le modifiche successive restano fuori dall’attuale impostazione. Gli autori affermano di voler pubblicare ACE come benchmark aperto, offrendo ad altri ricercatori un modo per verificare se i miglioramenti riportati grazie alla combinazione di evidenze di diversi livelli si confermino su nuovi ambienti di esecuzione degli agenti e con nuovi schemi di attacco.

Fonte

Notizie correlate

Esplora

Altri articoli