BizBench: le sfide nascoste nell’impiego di agenti a lungo orizzonte nelle attività aziendali reali

Abstract degli autori

I benchmark esistenti per gli agenti a lungo orizzonte si concentrano spesso sul successo finale del compito, ma valutano solo in misura limitata la validità dei passaggi intermedi dell’esecuzione. Le attività aziendali reali, però, richiedono agli agenti di orientarsi tra numerose politiche, potenzialmente obsolete o in conflitto tra loro, rispettando vincoli critici durante tutta l’esecuzione. Questi requisiti sono particolarmente importanti in settori ad alta posta in gioco come i pagamenti, dove le violazioni nei passaggi intermedi possono causare perdite finanziarie o conseguenze normative indipendentemente dall’esito finale. Per colmare questa lacuna nella valutazione, presentiamo BizBench, un benchmark multi-turn basato su procedure reali di un’azienda leader nel settore dei pagamenti. Il suo ambiente eseguibile integra 789 documenti di conoscenza e 601 strumenti aziendali individuabili, con politiche, stati e comportamenti degli strumenti coerenti tra loro. Il benchmark comprende 50 compiti che coinvolgono vincoli sulle risorse, dipendenze temporali, impegni pregressi e indicazioni contraddittorie o obsolete. Ogni compito viene validato mediante un’esecuzione di riferimento, mentre verifiche deterministiche valutano sia il raggiungimento dell’obiettivo sia la validità dell’esecuzione, senza imporre un unico percorso di soluzione. Gli esperimenti rivelano limiti sostanziali anche nei modelli di frontiera: Claude Opus 5 e GPT-6 Sol ottengono tassi di successo secondo criteri rigorosi rispettivamente di appena il 64,0% e il 61,3%. Per Qwen3.8-27B, il raggiungimento dell’obiettivo arriva al 42,0%, ma il tasso di successo secondo criteri rigorosi scende al 32,7%: un risultato che mostra come una valutazione basata sull’esito possa nascondere esecuzioni non valide. Al di là dei tassi di successo, DeepSeek-V4.1-Flash effettua in media 191,3 chiamate agli strumenti per esecuzione, circa il 70% in più rispetto alle esecuzioni di riferimento, rivelando un notevole costo aggiuntivo in termini di esecuzione. Nel complesso, BizBench offre un banco di prova per valutare e migliorare gli agenti a lungo orizzonte non solo rispetto al completamento dei compiti, ma anche rispetto alla capacità di eseguirli in modo affidabile e nel rispetto dei vincoli in ambienti aziendali complessi.