The Pulse
I ricercatori di Google delineano motori di policy per governare gli agenti di IA
Google Research propone motori di policy contestuali che traducono le intenzioni degli utenti e le norme sociali in regole verificabili dal software per gli agenti di IA. Il rapporto del workshop descrive anche rischi ancora irrisolti, tra
AI.info Team · Scritto con l’IA ·
Gli agenti di IA hanno bisogno di un ampio accesso a dati e strumenti per svolgere compiti complessi, ma le autorizzazioni ampie sono proprio ciò che l’ingegneria della sicurezza cerca di limitare. Un rapporto pubblicato da Google Research il 5 ottobre propone un livello intermedio: un motore di policy contestuale che stabilisca se la prossima azione di un agente sia coerente con la richiesta dell’utente e con le norme del contesto.
La proposta è un quadro di ricerca, non un nuovo prodotto Google. Il rapporto, frutto di un workshop tenutosi a New York alla fine del 2025, inquadra il problema come quello di controllare sistemi che pianificano in modo probabilistico, gestiscono istruzioni ambigue e possono delegare il lavoro ad altri agenti: condizioni che possono rendere inadeguate le autorizzazioni fisse e le richieste ripetute all’utente.
Perché le autorizzazioni statiche non colgono il problema
Il software tradizionale può spesso essere limitato con regole fisse sui file o sui servizi a cui può accedere. Un agente può aver bisogno di accessi diversi man mano che un compito cambia: organizzare un viaggio per una conferenza, per esempio, potrebbe comportare la condivisione di dati personali diversi con una compagnia aerea, un servizio per i visti e l’organizzatore dell’evento. Un’autorizzazione concessa all’inizio potrebbe rivelarsi troppo ampia in seguito, mentre una regola restrittiva potrebbe impedire all’agente di svolgere un lavoro utile.
Il rapporto si rifà alla Contextual Integrity, una teoria della privacy che si concentra sull’adeguatezza dei flussi di informazioni in un determinato contesto, anziché considerare la privacy soltanto una questione di segretezza o di controllo da parte dell’utente. Gli autori estendono questa idea alle azioni, oltre che alla condivisione dei dati. «La sfida fondamentale nel controllare gli agenti di IA consiste nel capire con precisione quali azioni siano appropriate in ciascun contesto in cui l’agente opera e nel far rispettare tale comportamento», scrivono gli autori di Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle.
Un motore di policy tra piani e strumenti
Il motore proposto ha due compiti. Primo, trasforma le norme del contesto e la richiesta dell’utente in una policy formale che il software possa verificare; se non riesce a determinare la regola, può chiedere chiarimenti all’utente. Secondo, un componente di controllo in fase di esecuzione verifica un’azione proposta rispetto alla policy e allo stato corrente dell’agente, poi la consente, la nega o la modifica, oppure chiede conferma.
Questa separazione colloca un punto di controllo tra il modello che pianifica e gli strumenti esterni che eseguono le sue richieste. Il rapporto descrive il progetto come uno schema comune a diversi sistemi di ricerca esistenti, tra cui Conseca, senza sostenere di presentare un’implementazione completa. Afferma inoltre che non esiste un linguaggio di policy condiviso per agenti di qualsiasi tipo, né un consenso sulle funzionalità che tale linguaggio debba offrire.
Anche il meccanismo di controllo ha punti ciechi
Un motore di policy deve comunque interpretare istruzioni vaghe come «che resti tra noi» e convertirle in regole applicabili senza perdere il significato inteso dall’utente. Potrebbe non disporre di dettagli importanti sulle intenzioni dell’utente o sull’ambiente in cui si svolge il compito, e le informazioni che riceve potrebbero contenere prompt injection o regole contestuali errate. Gli autori indicano la distinzione tra contesto attendibile e non attendibile come un problema di ricerca ancora aperto.
I conflitti rappresentano un’altra prova. Una preferenza dell’utente può entrare in contrasto con obblighi giuridici o sociali, e agenti che rappresentano utenti diversi possono portare regole incompatibili in un compito condiviso. Il rapporto sostiene che un motore di policy debba distinguere le preferenze dai valori e dai requisiti, ma lascia aperta la questione di come risolvere i conflitti tra policy.
Mettere alla prova la proposta su scala degli agenti
L’applicazione delle regole deve funzionare anche con molti utenti, policy, strumenti e compiti svolti contemporaneamente dagli agenti. Il rapporto segnala in particolare la latenza e i costi di calcolo, chiedendosi come i sistemi possano verificare autorizzazioni complesse, che dipendono dallo stato, alla scala di miliardi di cicli di agenti simultanei. Il rapporto avverte inoltre che richieste frequenti di chiarimenti potrebbero gravare sugli utenti e indurli ad abbandonare un agente.
Per la valutazione, gli autori chiedono ambienti standardizzati multi-agente «Agent Gym», nei quali i ricercatori possano simulare interazioni di lunga durata ed effetti a cascata in condizioni controllate. Google Research afferma che il rapporto del workshop si basa sul contributo di oltre 50 persone del mondo accademico e dell’industria; il rapporto stesso descrive le discussioni del workshop, a cui hanno partecipato oltre 30 figure di spicco. Si conclude con un invito a lavorare sull’applicazione delle regole a livello di sistema, sul ragionamento dei modelli, sui controlli a disposizione degli utenti e sulla governance condivisa, non con un annuncio di implementazione o un calendario per un motore di policy di Google.