CRM-Agent-Bench: un benchmark per agenti che usano strumenti in ambienti aziendali con stato

Abstract degli autori

Impiegare agenti linguistici in applicazioni reali richiede più che ottenere la risposta giusta: un agente deve eseguire correttamente un processo aziendale articolato in più fasi, rispettare le regole specifiche del settore e interagire con un utente nel corso di un dialogo, in cui la distanza tra dire e fare può fare la differenza tra un cliente soddisfatto e una perdita reale. Sosteniamo che un benchmark per agenti impiegabili nella pratica debba valutare congiuntamente quattro aspetti: il risultato raggiunto dall’agente, il percorso seguito, la sua praticabilità operativa e il rispetto delle policy. La gestione delle relazioni con i clienti (CRM), in cui record modificabili, regole operative ed effetti rilevanti si incontrano, mette alla prova tutti e quattro gli aspetti. Presentiamo CRM-Agent-Bench, un benchmark basato sull’esecuzione che comprende 555 compiti con stato e su più turni di dialogo, distribuiti in nove ambiti aziendali e 36 etichette di capacità. Ogni compito prevede un contratto eseguibile specifico, composto da verifiche relative ad azioni, argomenti, ordine, risposta, stato obiettivo e stato protetto; per riuscire occorre superare tutte le verifiche previste per quel compito. Valutiamo il sistema di agenti completo attraverso questi contratti e riportiamo la copertura valutata, la latenza e il costo. Nei sedici sistemi valutati sulla versione finale sottoposta ad audit, il tasso di successo secondo questi criteri rigorosi va dal 64,32% all’83,60%; i sistemi ai primi posti, pur ottenendo risultati molto vicini, divergono nettamente per costo e affidabilità nei singoli ambiti. CRM-Agent-Bench offre un quadro verificabile per misurare l’integrità delle transazioni aziendali rispetto ai contratti e il rispetto delle policy del benchmark dichiarate nei compiti, con una struttura portabile progettata per essere estesa man mano che i modelli migliorano. Repository Github: https://github.com/salesforce-misc/crm-agent-bench