The Pulse
BizBench rivela le violazioni delle regole nascoste dietro i tassi di successo degli agenti
BizBench mette alla prova gli agenti di IA con 50 attività aziendali simulate basate su procedure di pagamento, verificando sia i risultati sia il rispetto delle regole durante l’esecuzione. Nel benchmark, Qwen3.8-27B ha raggiunto l’obietti
AI.info Team · Scritto con l’IA ·
«Per Qwen3.8-27B, il raggiungimento dell’obiettivo arriva al 42,0%, ma il successo secondo criteri rigorosi scende al 32,7%: questo dimostra come una valutazione basata sul risultato possa nascondere un’esecuzione non valida».
Enhan Zhao et al., «BizBench: Unveiling Hidden Challenges in Deploying Long-Horizon Agents for Real-World Business»
Il benchmark BizBench, pubblicato come preprint su arXiv il 14 ottobre, misura non solo se un agente di IA porta a termine un’attività aziendale, ma anche se rispetta le regole mentre la svolge. Gli autori sostengono che un’attività possa sembrare completata anche quando l’agente ha oltrepassato un limite finanziario o di autorizzazione che dovrebbe far considerare l’esecuzione un fallimento.
Lo studio valuta 50 attività in più fasi basate su procedure di pagamento reali. L’ambiente simulato contiene 789 documenti informativi e 601 funzionalità aziendali: gli agenti devono individuare le indicazioni applicabili, raccogliere informazioni sui clienti e gestire azioni le cui conseguenze si ripercuotono sulle fasi successive.
Il successo non consiste solo nel raggiungere l’obiettivo
BizBench valuta ogni esecuzione in base a tre condizioni: il raggiungimento del risultato richiesto, il rispetto dei requisiti applicabili durante il processo e l’assenza di effetti collaterali vietati. Il suo sistema di valutazione deterministico controlla i registri aziendali e la cronologia dell’esecuzione, anziché affidare la valutazione a un’IA. Sequenze di azioni diverse possono superare la prova se ciascuna soddisfa i criteri.
La distinzione conta negli esempi proposti dagli autori. Un agente potrebbe effettuare un pagamento accettato da uno strumento, ma lasciare sul conto un saldo inferiore alla riserva di liquidità richiesta. Un rimborso successivo può ripristinare il saldo finale, ma non cancella la violazione precedente. Il benchmark verifica anche se un’operazione ha ricevuto un’approvazione specifica prima dell’esecuzione e se tale approvazione copre ancora le condizioni effettivamente applicate.
Il divario di 9,3 punti di Qwen
Qwen3.8-27B ha raggiunto l’obiettivo dichiarato nel 42% delle esecuzioni, ma il suo tasso di successo secondo criteri rigorosi, che richiede il rispetto di tutte e tre le condizioni, è stato del 32,7%. Lo studio registra 14 esecuzioni in cui l’agente ha raggiunto l’obiettivo ma non ha superato una verifica del processo o delle misure di protezione; otto hanno comportato un tentativo di esecuzione prima dell’approvazione. Valutare soltanto il completamento dell’obiettivo avrebbe attribuito a quei risultati un giudizio troppo favorevole.
I tassi di successo secondo criteri rigorosi più alti nel confronto riportato sono stati il 64% per Claude Opus 5 e il 61,3% per GPT-6 Sol. Secondo lo studio, Claude Opus 5 è stato testato una volta su ciascuna delle 50 attività, mentre la maggior parte degli altri modelli, tra cui GPT-6 Sol e Qwen3.8-27B, è stata testata tre volte per attività. Tutti i modelli della tabella hanno registrato fallimenti nelle fasi intermedie, anche se con frequenze molto diverse.
Per DeepSeek-V4.1-Flash, cinque esecuzioni su 150 hanno raggiunto l’obiettivo richiesto senza soddisfare tutti i criteri. In quattro casi il saldo è sceso temporaneamente sotto la soglia minima della riserva di liquidità richiesta, prima di essere ripristinato; in un altro, l’agente ha tentato un’operazione prima dell’approvazione e ha ricevuto un rifiuto. I risultati mostrano perché un controllo limitato allo stato finale può non rilevare problemi registrati nella cronologia delle azioni.
La raccolta di informazioni aumenta il costo
Gli agenti hanno inoltre impiegato uno sforzo di ricerca notevolmente maggiore rispetto alle esecuzioni di riferimento dei ricercatori. DeepSeek-V4.1-Flash ha effettuato in media 191,3 chiamate agli strumenti per esecuzione, contro le 111,8 delle tracce di riferimento. Le chiamate aggiuntive si sono concentrate nelle interrogazioni dei database e nelle ricerche o letture di documenti informativi, anziché nelle operazioni aziendali vere e proprie.
Fornire in anticipo i documenti pertinenti ha portato il tasso di successo del modello secondo criteri rigorosi dal 43,3% al 50%. Fornirgli fin dall’inizio tutte le informazioni note al cliente ha portato il tasso al 70%, ma ha lasciato irrisolto il 30% delle attività. Secondo gli autori, il risultato indica difficoltà nel far emergere i vincoli del cliente e nel tenerne conto lungo l’intera procedura, oltre alla difficoltà di trovare la regola giusta.
Un benchmark simulato, non una verifica delle operazioni reali
Le attività di BizBench si basano su procedure di una delle principali aziende di pagamenti e tecnologia finanziaria, ma lo studio non indica il nome dell’azienda da cui provengono. Gli autori affermano di aver riscritto i dettagli aziendali sensibili preservando la logica decisionale, per poi costruire una simulazione eseguibile con dati sintetici e verifiche esaminate da esperti. Il benchmark mette quindi alla prova il comportamento degli agenti in un ambiente costruito; non misura le violazioni delle regole nelle operazioni reali dei clienti.
Entro questi limiti, il suo risultato centrale resta concreto: un punteggio basato sul completamento dell’attività può nascondere un’esecuzione che ha violato un requisito di approvazione o ha speso temporaneamente denaro riservato a un altro obbligo. In BizBench, soltanto le esecuzioni che superano le verifiche relative all’obiettivo, al processo e alle misure di protezione contano come successi secondo criteri rigorosi.