AgentProofBench: un benchmark per i verificatori riutilizzabili degli agenti web

Abstract degli autori

Per verificare in modo riutilizzabile gli agenti web, una regola deve adattarsi al mutare dei requisiti e supportare l’esecuzione successiva. Presentiamo AgentProofBench, che collega test appaiati su una regola di accettazione mantenuta invariata all’esecuzione a partire da stati iniziali salvati identici. La risorsa comprende 97 attività, 79 famiglie e quattro servizi web. Gli esperimenti con DeepSeek Flash/Pro forniscono due misure collegate. Su 48 famiglie, i test su pannelli completi e di riproduzione delle decisioni conservano 82/96 programmi di partenza per Flash e 79/96 per Pro; gli intervalli BA appaiati per il confronto tra riutilizzo e ricostruzione sono rispettivamente [-5,47, 1,57] e [-10,16, 0,00] punti percentuali. Su 22 famiglie di esecuzione, la correttezza dei pannelli relativi allo stato di impiego distingue le assegnazioni di programmi in cui entrambi gli stati iniziali salvati portano a un risultato corretto: 32/33 assegnazioni con pannelli privi di errori, contro 1/11 con pannelli contenenti errori. Tutte le regressioni del controllo sui programmi definite dalle regole di riferimento e tutti i risultati non consegnati si verificano in quest’ultimo gruppo. La prosecuzione neutra ottiene il maggior numero di risultati corretti con il feedback generico esaminato, offrendo un riferimento concreto per misurare il valore aggiunto da un controllo. Le istruzioni, gli stati, i programmi, le regole di riferimento e le traiettorie resi disponibili collegano ogni errore rilevato dai test alle sue conseguenze sull’esecuzione. AgentProofBench permette di valutare la verifica riutilizzabile sia a livello dei requisiti sia a livello delle policy.