LatentRiskBench: misurare i rischi dipendenti dallo stato negli agenti aziendali

Abstract degli autori

Gli agenti aziendali affrontano rischi per la sicurezza che non possono essere determinati considerando soltanto le singole azioni. I benchmark di sicurezza esistenti valutano perlopiù i rischi legati alle singole azioni, trascurando i casi in cui la rilevanza di un errore per la sicurezza dipende dallo stato del flusso di lavoro. In questi rischi dipendenti dallo stato, la stessa azione può essere sicura in un contesto e violare le regole in un altro. Per questo presentiamo LatentRiskBench, un benchmark per valutare tali rischi in ambito aziendale. Abbina traiettorie rischiose a controparti innocue che condividono la stessa azione finale, ma differiscono per stati latenti rilevanti ai fini delle regole: i modelli devono quindi ricostruire il contesto del flusso di lavoro anziché basarsi su indizi relativi alle singole azioni. Introduciamo inoltre nuove metriche per valutare i rischi dipendenti dallo stato, tra cui una serie di misure del rischio residuo (RR). Gli esperimenti sul benchmark mostrano che la valutazione a livello di azione rileva solo 0,09 delle violazioni dipendenti dallo stato, mentre quella a livello di stato raggiunge 0,96. I metodi di guardrail esistenti trascurano in larga misura questi rischi, a meno che non vengano applicati esplicitamente agli stati del flusso di lavoro. Casi di studio relativi a uno scenario commerciale già operativo mostrano inoltre che le metriche di sicurezza integrate nel benchmark offrono una misura più realistica della sicurezza degli agenti aziendali. Il nostro dataset e il nostro codice sono disponibili all’indirizzo https://github.com/JingyueCong/LatentRiskBench.