APort Vault: benchmark sull’autorizzazione dei pagamenti degli agenti di IA che usano strumenti con l’Open Agent Passport

Abstract degli autori

APort Vault è un benchmark per l’autorizzazione dei pagamenti negli agenti di IA che usano strumenti. Riproduce 4.371 attacchi scritti da esseri umani contro un agente di pagamento attivo, durante un evento pubblico di capture-the-flag, su 14 modelli di 8 laboratori, cinque configurazioni di policy e due modalità di riproduzione, con e senza un controllo deterministico preliminare all’azione che implementa la specifica Open Agent Passport (OAP). Sono state completate 225.964 valutazioni. Riportiamo cinque eventi distinti per valutazione, perché accorparli è proprio ciò che fa sì che un benchmark per agenti produca un numero che non regge a un esame. Le richieste sono frequenti e il loro tasso varia molto più tra le configurazioni che tra i modelli, anche se ogni attacco compare in una sola configurazione, perciò la policy e la coorte di attacchi variano insieme: il 10,9% delle valutazioni con il solo modello al Livello 1, il 3,0% al Livello 2, lo 0,1% al Livello 3 e il 79,4% al Livello 4. Sulle 1.293 richieste di Livello 4, valutate su tutti i modelli, i tassi di richiesta vanno dal 71,2% all’84,3%; 809 richieste (il 62,6%) hanno suscitato una richiesta da tutti e quattordici i modelli, ciascuna culminata in un pagamento riuscito al destinatario autorizzato per quel livello. È sul confine dell’autorizzazione che le condizioni divergono. Ai Livelli da 2 a 4, i trasferimenti verso destinatari non consentiti dal passaporto sono stati 140 su 76.842 con il solo modello e 0 su 69.297 con il livello di controllo interposto; nei gruppi abbinati per modello, richiesta e modalità di riproduzione, 105 contro 0 su 68.970. Lo zero comprende 790 sessioni di origine e corrisponde a un limite superiore dello 0,38% per sessione. Non è stato ottenuto rifiutando i pagamenti: con il livello di controllo attivo sono stati eseguiti 25.370 pagamenti, mentre la policy ha negato 187 delle 25.640 chiamate di trasferimento esaminate, 148 delle quali riguardavano un destinatario non consentito. Rendiamo disponibili le 225.964 valutazioni, i passaporti per ciascun livello, il codice di valutazione e lo script di analisi all’indirizzo huggingface.co/datasets/aporthq/vault-benchmark-v1 .