APEX-Harm: valutare la sicurezza degli agenti negli spazi di lavoro professionali condivisi

Abstract degli autori

Gli agenti impiegati in ambito professionale operano sempre più spesso tramite interfacce a riga di comando e diversi strumenti, in spazi di lavoro condivisi che contengono file, messaggi e applicazioni aziendali. Questi ambienti creano rischi per la sicurezza difficili da rilevare con attacchi collocati in un unico punto di lettura noto. Presentiamo APEX-Harm, un benchmark per valutare gli attacchi di prompt injection e script injection contro agenti impegnati in attività di lunga durata nei settori della finanza, della consulenza e del diritto, all’interno di ampi spazi di lavoro. Ogni attività comprende da 115 a 328 file, oltre a strumenti per email, calendario, chat, documenti, fogli di calcolo, PDF ed esecuzione di codice, resi disponibili tramite server MCP. Il benchmark comprende sei categorie di attacchi, tra cui iniezioni statiche e dinamiche, sostituzione di script specifici per l’attività e script generici forniti dall’attaccante, e valuta il successo degli attacchi, l’esposizione e le prestazioni nello svolgimento delle attività. Valutiamo 12 modelli di frontiera su 180 istanze di attività per modello. Opus 5 e Sonnet 5 registrano i tassi complessivi di successo degli attacchi più bassi (8% e 20%), mentre gli attacchi basati sulla sostituzione di script specifici per l’attività e su script generici forniti dall’attaccante restano nettamente più efficaci, con tassi medi di successo rispettivamente dell’81-84% e del 73%. Gemini 3.8 Flash ottiene il punteggio medio più alto nello svolgimento delle attività (0,877), pur presentando un tasso di successo degli attacchi del 33%. Questi risultati mostrano che portare a termine l’attività richiesta non è una prova sufficiente di un comportamento sicuro: un agente può produrre un risultato corretto e, al tempo stesso, compiere un’azione non autorizzata nello spazio di lavoro.