The Pulse
I modelli di AISI hanno concatenato falle nel cloud in un attacco in cinque passaggi
L’AI Security Institute del Regno Unito afferma che modelli di frontiera hanno individuato e concatenato errori di configurazione reali in una copia isolata della sua piattaforma di ricerca su AWS. Un modello ha completato un percorso in ci
AI.info Team · Scritto con l’IA ·
«Un modello di frontiera con spiccate capacità informatiche ha individuato questo attacco con una spesa in token inferiore a 150 sterline».
AI Security Institute
Un percorso in cinque passaggi oltre i confini tra utenti
Il 7 luglio, l’AI Security Institute del Regno Unito ha dichiarato che modelli di frontiera avevano individuato vulnerabilità fino ad allora sconosciute in una copia di staging della sua piattaforma di ricerca nel cloud, per poi collegarne diverse in un percorso di attacco. L’esercizio ha mostrato che un modello poteva passare dai normali permessi di un ricercatore ai carichi di lavoro e ai dati di altri utenti senza che una vittima dovesse compiere alcuna azione. Secondo AISI, la catena richiedeva cinque passaggi indipendenti e le vulnerabilità sono state nel frattempo corrette.
L’obiettivo del test era un’implementazione su AWS realizzata con Python e AWS Cloud Development Kit. AISI ha mantenuto l’ambiente di staging separato da quello di produzione: nessun utente dell’ambiente di produzione ha subito disservizi e non erano presenti dati reali. L’istituto afferma che le vulnerabilità riscontrate riguardavano anche il suo ambiente di produzione, rendendo il test rilevante sul piano pratico senza esporre utenti o dati effettivi.
Tre metodi, diversi costi di revisione umana
AISI ha confrontato l’analisi statica del codice sorgente privato, i test autonomi all’interno dell’ambiente di staging e il red-teaming in cui un ricercatore esaminava e approvava ogni azione del modello. Tutti e tre gli approcci hanno prodotto risultati che AISI ha ritenuto meritevoli di correzione. Il test autonomo ha utilizzato Inspect, il framework di valutazione dell’istituto, mentre l’approccio interattivo ha permesso a un ricercatore di approfondire le piste promettenti mentre il modello continuava a cercarne altre.
L’analisi statica ha generato il maggior numero di segnalazioni classificate di gravità «alta» o «critica», ma anche il maggior numero di falsi allarmi. Gli ingegneri hanno riscontrato che alcuni problemi non erano sfruttabili o erano già mitigati altrove nel codice; distinguere questi casi dai rischi reali ha richiesto un consistente lavoro di revisione da parte di esperti. Per contro, sia i test autonomi sia il red-teaming guidato da un ricercatore hanno individuato l’errore di configurazione dell’isolamento alla base del percorso in più passaggi.
AISI ha stimato in meno di 150 sterline il costo in token per individuare quell’attacco e in meno di 1.000 sterline il costo dell’intero esercizio. L’istituto non ha indicato i modelli testati né pubblicato risultati suddivisi per modello: le cifre descrivono quindi questo esercizio, non un benchmark generale dei costi o delle capacità.
Un sistema di allerta non ha rilevato gli agenti
Il test ha messo in luce anche una lacuna nel rilevamento. Secondo AISI, un sistema commerciale di allerta di base non ha segnalato come evento di sicurezza alcuna attività degli agenti autonomi. Il suo sistema di monitoraggio più avanzato, che combina la scansione del cloud con un sensore leggero installato sull’host, ha invece identificato come anomali alcuni comportamenti, tra cui ripetuti tentativi di assumere credenziali e traffico inatteso proveniente dall’ambiente di staging.
La differenza è importante: individuare una vulnerabilità è solo una parte della difesa di un sistema cloud. Il resoconto di AISI mostra che la revisione automatizzata del codice può produrre una lunga coda di segnalazioni dubbie, mentre un attacco che attraversa diversi confini tra permessi può passare inosservato a un sistema di allerta di base. Secondo l’istituto, i metodi che richiedevano un maggiore intervento tecnico o umano hanno prodotto risultati che ha giudicato più conclusivi e su cui era più facile intervenire.
AISI ha poi rafforzato i controlli sulle valutazioni
In un successivo aggiornamento sulla sicurezza, AISI descrive le modifiche apportate alle valutazioni dei modelli di frontiera, tra cui la disattivazione dell’accesso a internet per i futuri test informatici con agenti, finché non saranno disponibili controlli più rigorosi. Afferma inoltre di usare controlli di rete separati, monitoraggio in tempo reale, verifiche preliminari e un’ulteriore revisione della progettazione delle valutazioni. L’istituto applica test assistiti dall’IA ai propri ambienti di valutazione, con misure di protezione a più livelli pensate per limitare il rischio qualora un agente trovi una vulnerabilità.
Questo seguito non cambia quanto accertato nel caso del cloud: nell’ambiente di staging speculare di AISI, un sistema commerciale di allerta di base non ha registrato l’attività degli agenti autonomi.