VerifierBench: un benchmark per la generazione di verificatori eseguibili per agenti LLM

Abstract degli autori

Gli agenti hanno bisogno di metodi affidabili per verificare i propri risultati, sia quando completano un compito sia quando filtrano dati sintetici per l’addestramento. Studiamo la generazione di verificatori: a partire dalle istruzioni e dall’ambiente disponibili per risolvere un compito, un agente scrive un verificatore eseguibile che deve accettare ogni soluzione valida e respingere quelle non valide. Presentiamo VerifierBench, un benchmark di 222 compiti tratti da sei benchmark per agenti, che comprendono la verifica delle chiamate agli strumenti, la verifica basata sullo stato e quella del codice, con 4.993 casi di test nascosti che includono soluzioni valide alternative e attacchi; Verifier4Verifier (V4V), una verifica articolata in sei controlli, esamina i verificatori originali e le relative suite di test. Per 19 modelli valutati con una configurazione comune per gli agenti, l’accuratezza bilanciata normalizzata varia da 10,6 a 62,1: i verificatori generati respingono sistematicamente le soluzioni non valide in modo più affidabile di quanto accettino quelle valide. Questa apparente capacità può nascondere verifiche troppo restrittive: la maggior parte dei rifiuti errati nei casi analizzati proviene da verificatori che non accettano nessuna delle soluzioni testate per un compito. I casi di studio rivelano ipotesi non giustificate sui formati delle soluzioni, sull’uso degli strumenti e sulle modifiche al codice, che escludono soluzioni valide. Questi errori sfuggono agli autotest perché gli agenti provano soluzioni che condividono le ipotesi errate del verificatore, oppure presentano verificatori senza accertarsi che almeno una soluzione corretta venga accettata. I risultati suggeriscono di verificare sia che un verificatore accetti una soluzione corretta, sia che accetti altre soluzioni consentite dal compito. La pagina del progetto e il dataset sono disponibili pubblicamente.