The Pulse

ActGov inserisce controlli sulle policy prima che gli agenti IA eseguano chiamate agli strumenti

Un articolo su arXiv presenta ActGov, un framework di enforcement a runtime che verifica le azioni proposte sugli strumenti rispetto alle autorizzazioni e alle policy di sicurezza definite per il compito, prima che producano effetti esterni

AI.info Team · Scritto con l’IA · verificato · 2026-09-22

Gli agenti IA svolgono sempre più spesso flussi di lavoro di lunga durata attraverso strumenti esterni, consentendo alle informazioni provenienti da output non attendibili di influenzare le azioni successive. Un articolo presentato su arXiv il 21 settembre 2026 introduce ActGov, un framework di enforcement a runtime progettato per verificare l’azione proposta da un agente su uno strumento prima che produca un effetto esterno.

L’articolo presenta il sistema come un’alternativa alle difese che isolano i contenuti iniettati o vincolano gli agenti a piani predefiniti e policy statiche. Secondo l’abstract, questi approcci possono essere fragili quando i flussi di lavoro cambiano e difficili da estendere a ecosistemi di strumenti in espansione. ActGov valuta invece ogni azione proposta nel momento in cui viene formulata, mantenendo un controllo sulle autorizzazioni lungo tutto il flusso di lavoro, che può diramarsi in risposta a nuove osservazioni.

ActGov separa le proposte di azione dalle autorizzazioni

Il framework ha due componenti dotati di un nome. ActGov-Policy costruisce un insieme di policy a partire dalle specifiche degli strumenti, da compiti benigni e da tracce di errori osservati. L’insieme di policy viene aggiornato iterativamente e ogni modifica è sottoposta a una verifica dei controesempi basata su SMT. L’abstract descrive questo processo come un modo per verificare se una policy proposta contiene un controesempio ai suoi requisiti di sicurezza prima che l’aggiornamento venga accettato.

ActGov-Runtime gestisce l’enforcement durante l’esecuzione. Astraziona ogni chiamata a uno strumento in un insieme finito di record di policy e consente la chiamata solo quando rimane entro i limiti di autorizzazione assegnati al compito e soddisfa tutte le policy applicabili. La decisione viene presa prima che l’azione proposta produca un effetto esterno.

Questa struttura lascia al modello linguistico la responsabilità di proporre le azioni, ma non quella di prendere la decisione finale sull’autorizzazione. L’obiettivo dichiarato dell’articolo è applicare autorizzazioni granulari senza fare affidamento sulla capacità del modello sottostante di riconoscere correttamente le istruzioni malevole. Un’azione può quindi essere valutata rispetto alla policy in uso anche quando materiale non attendibile ha influenzato la proposta del modello.

I controlli sulle singole azioni supportano flussi di lavoro ramificati

L’abstract sottolinea che ActGov è pensato per flussi di lavoro di lungo periodo in cui l’azione successiva non è fissata in anticipo. Anziché imporre all’agente di seguire una sequenza predeterminata, il framework verifica ogni nuova chiamata a uno strumento rispetto ai limiti di autorizzazione del compito e ai vincoli di sicurezza applicabili in quel punto dell’esecuzione.

Questa distinzione è importante per gli agenti che usano ripetutamente strumenti esterni. Un sistema può partire da un obiettivo, ricevere informazioni aggiuntive da uno strumento e proporre poi un’azione diversa. Il componente runtime di ActGov viene descritto come capace di valutare la nuova chiamata come un record di policy a sé stante, mantenendo le condizioni di autorizzazione stabilite per il compito.

L’articolo non descrive il framework come una garanzia che ogni possibile attacco fallirà. Il suo abstract riporta invece una valutazione sui benchmark AgentDojo e AgentDyn, condotta su più modelli e configurazioni di attacco. ActGov riduce in modo consistente il tasso di successo degli attacchi indiretti di prompt injection, preservando l’utilità nello svolgimento dei compiti e superando significativamente le difese esistenti, affermano gli autori.

La valutazione comprende AgentDojo e AgentDyn

L’abstract indica AgentDojo e AgentDyn come contesti di valutazione, ma non fornisce dati quantitativi sui benchmark, nomi dei modelli, percentuali di successo degli attacchi o punteggi di utilità. Non fornisce nemmeno una descrizione dettagliata delle configurazioni di attacco né riporta risultati sul trasferimento tra domini.

I risultati riportati sono presentati a livello generale: ActGov riduce il tasso di successo degli attacchi indiretti di prompt injection mantenendo l’utilità nello svolgimento dei compiti. Questi risultati mostrano che il framework può applicare autorizzazioni granulari alle esecuzioni dinamiche degli agenti senza dipendere dalla capacità del modello linguistico di identificare correttamente le istruzioni malevole, afferma l’articolo.

La fonte disponibile non specifica inoltre le categorie dettagliate delle policy, gli ambiti semantici, i livelli di formazione, il flusso di lavoro del solver o le condizioni del modello di minaccia descritte in alcuni resoconti sul sistema. Per questi dettagli implementativi e per i risultati numerici sarebbero necessarie evidenze tratte dall’articolo completo, anziché dall’abstract su arXiv.

La costruzione delle policy resta parte del progetto

L’approccio di ActGov attribuisce importanza al modo in cui le policy vengono costruite prima che inizi l’enforcement a runtime. Il componente ActGov-Policy usa come input le specifiche degli strumenti, i compiti benigni e le tracce di errori osservati, quindi costruisce e verifica iterativamente l’insieme di policy. L’enforcement a runtime applica le policy risultanti alle singole chiamate, anziché chiedere al modello di formulare un giudizio sulla sicurezza senza vincoli a partire dal testo circostante.

La tesi centrale dell’articolo è quindi più circoscritta di una promessa di rendere gli agenti sicuri in generale. ActGov viene presentato come un meccanismo per verificare le azioni proposte sugli strumenti rispetto alle autorizzazioni e ai vincoli di sicurezza definiti per il compito, prima che si producano effetti esterni. La sua valutazione suggerisce che questo approccio può ridurre il successo degli attacchi indiretti di prompt injection, preservando lo svolgimento di attività utili nei contesti dei benchmark esaminati dagli autori.

ActGov: Governing LLM Agent Actions via Policy-Constrained Validation è scritto da Kaiyuan Zhang, Yuke Peng, Ke Jiang e Yinqian Zhang.