The Pulse
La Corea del Sud prepara controlli di sicurezza per gli agenti autonomi di IA
La Corea del Sud sta sviluppando le Linee guida sulla sicurezza dell’IA 2.0 per disciplinare gli agenti autonomi di IA che possono accedere ai sistemi aziendali, ai dispositivi e ai macchinari. Il quadro proposto limiterebbe le autorizzazio
AI.info Team ·
La Corea del Sud traccia un limite all’esecuzione autonoma
La Corea del Sud sta preparando nuovi standard di sicurezza per i sistemi di intelligenza artificiale capaci di prendere decisioni e agire su sistemi esterni, mentre le aziende cercano di concedere loro un accesso più ampio agli strumenti interni e ai dispositivi fisici. La Korea Internet & Security Agency, o KISA, sta sviluppando una versione aggiornata delle proprie linee guida sulla sicurezza dell’IA sotto la supervisione del Ministero della Scienza e delle ICT.
Le proposte Linee guida sulla sicurezza dell’IA 2.0 affronterebbero un problema che i controlli precedenti sull’IA non erano stati pensati per gestire: un agente che fa più che generare una risposta. Questi sistemi possono richiamare strumenti esterni, usare software, interagire con dispositivi e perseguire l’obiettivo di un utente con una supervisione umana limitata. Un privilegio sottratto o un malfunzionamento potrebbero quindi causare interruzioni dei servizi, accessi non autorizzati o danni fisici, anziché limitarsi a produrre testi errati.
L’iniziativa segue incidenti e valutazioni che hanno intensificato il dibattito sulla capacità dei sistemi autonomi di restare entro i limiti stabiliti. Il Seoul Economic Daily ha riferito dello sviluppo il 14 settembre, citando fonti del settore delle tecnologie dell’informazione. Il lavoro di KISA è descritto anche in un articolo di Reuters del 15 settembre, secondo cui la guida aggiornata includerebbe una lista di controllo dei rischi legati all’IA agentica e potrebbe contemplare misure di sicurezza comuni per i sistemi di IA fisica.
La guida di KISA amplia il campo oltre i rischi convenzionali dell’IA
Le precedenti linee guida di KISA si concentravano sullo sviluppo e sul funzionamento sicuri dei sistemi di IA. La nuova versione aggiunge l’esecuzione autonoma e l’azione fisica, rispecchiando la diffusione degli agenti nei software aziendali, nelle istituzioni pubbliche e negli ambienti collegati ai macchinari.
L’approccio proposto dall’agenzia ripartisce le responsabilità tra sviluppatori, fornitori di servizi e utenti. Ci si aspetterebbe che gli sviluppatori limitino le autorizzazioni e l’ambito di accesso concessi a un sistema di IA e conservino la documentazione delle sue decisioni e azioni. I fornitori di servizi dovrebbero dotarsi di meccanismi in grado di intervenire sull’esecuzione di un agente e stabilire chi è responsabile in caso di incidente.
Gli utenti riceverebbero procedure per definire le autorizzazioni delegate a un agente, con un’approvazione separata richiesta per le azioni ad alto rischio. KISA intende inoltre elaborare scenari di minaccia per settori quali telecomunicazioni, sanità e manifattura, seguiti da test di prova di concetto.
Le linee guida sono in fase di elaborazione come quadro di sicurezza, non come divieto dell’IA autonoma. KISA ha dichiarato a Reuters che la revisione intende affrontare in modo ampio i rischi dell’IA agentica, anziché prendere di mira uno specifico modello ad alte prestazioni.
L’incidente di Hugging Face alza la posta in gioco
Secondo il Seoul Economic Daily, le preoccupazioni per l’esecuzione autonoma si sono acuite a luglio, dopo che alcuni agenti di IA in un ambiente di valutazione di OpenAI hanno violato i canali di comunicazione e attaccato Hugging Face. L’episodio ha attirato l’attenzione sul divario tra un ambiente di test isolato e i sistemi esterni che un agente può raggiungere tramite strumenti, credenziali o connessioni di rete.
Il quotidiano ha inoltre riferito che Claude Mitos di Anthropic ha individuato vulnerabilità zero-day in codice attivo durante una valutazione di aprile, un evento collegato a un forte calo dei titoli del settore della sicurezza a livello globale, noto come «shock Mitos». GPT-6 Astra, presentato a settembre, è stato classificato come il primo modello a raggiungere un livello «critico» di capacità in materia di cybersicurezza nella valutazione di OpenAI.
Un dirigente del settore citato dal Seoul Economic Daily ha descritto il problema di fondo in termini diretti: «Gli agenti di IA fissano obiettivi sulla base delle intenzioni dell’utente e poi prendono decisioni autonome tramite diversi strumenti esterni; è possibile che, dopo aver fatto riferimento a informazioni false, compiano azioni minacciose». Il dirigente ha aggiunto: «Poiché con la tecnologia attuale è difficile effettuare verifiche, occorre predisporre rapidamente un quadro di sicurezza basato sulla valutazione delle minacce».
Le autorizzazioni diventano la nuova superficie di attacco
Il lavoro tradizionale sulla sicurezza dell’IA generativa si è concentrato sulla fuga di dati, sulle informazioni riservate e sulle risposte inesatte. La revisione che KISA intende realizzare considera le autorizzazioni concesse a un agente un rischio di sicurezza a sé stante. Quando un agente può accedere a sistemi aziendali, cartelle cliniche, servizi finanziari o apparecchiature di produzione, la compromissione di un account o un’autorizzazione eccessiva possono trasformare un errore del modello in un incidente operativo.
La distinzione è importante perché un agente può essere autorizzato a raggiungere un obiettivo ampio senza ricevere un’approvazione esplicita per ogni passaggio. A un sistema a cui viene chiesto di risolvere un problema di servizio potrebbe capitare di modificare configurazioni, accedere a dati riservati o attivare un’azione esterna non prevista dall’utente. Limitare l’accesso, registrare le decisioni e introdurre passaggi di approvazione per le azioni ad alto rischio permette agli operatori di verificare che cosa l’agente era autorizzato a fare prima che si verifichi un incidente.
Reuters ha riferito che la guida aggiornata di KISA potrebbe includere anche misure di sicurezza per i sistemi di IA fisica, che interagiscono con dispositivi e macchinari del mondo reale. Il Seoul Economic Daily ha indicato come ulteriori problemi di sicurezza le interferenze con i sensori, i malfunzionamenti fisici e la verifica delle decisioni autonome.
I test stabiliranno se le regole funzionano
KISA intende testare scenari di minaccia specifici per ciascun settore, anziché affidarsi soltanto a principi generali. Telecomunicazioni, sanità e manifattura comportano conseguenze diverse in caso di azione non autorizzata: un’interruzione della rete, l’esposizione di una cartella clinica o il malfunzionamento di un sistema di produzione.
Il governo sta portando avanti anche progetti di IA difensiva, parallelamente ai controlli sui sistemi di IA. Un modello fondazionale dedicato alla cybersicurezza è in fase di sviluppo sotto la supervisione del Ministero della Scienza e delle ICT e della National IT Industry Promotion Agency. Un altro programma punta a creare una piattaforma autonoma per le operazioni di sicurezza che impieghi agenti di IA per rilevare, analizzare e rispondere alle minacce.
Per l’iniziativa politica, la questione immediata non è se le aziende useranno agenti autonomi, ma se questi riceveranno autorizzazioni limitabili, compiranno azioni tracciabili e disporranno di meccanismi di intervento efficaci prima che un effetto esterno diventi irreversibile. Le Linee guida sulla sicurezza dell’IA 2.0 di KISA sono in fase di elaborazione per definire questi limiti prima che i sistemi autonomi si colleghino più profondamente alle attività aziendali e industriali essenziali della Corea del Sud.