Verifica agentica basata sulle prove

Abstract degli autori

I compiti agentici a lungo orizzonte e parzialmente verificabili si affidano spesso a valutazioni basate su criteri prestabiliti, ma le prove necessarie per valutarli possono essere distribuite tra lo stato dell’ambiente e la traccia di esecuzione. Un valutatore può non accorgersi di queste prove o accettare affermazioni non supportate, compresi i resoconti dell’agente stesso sui propri successi. Quando i giudizi sui criteri vengono usati come ricompense nell’apprendimento per rinforzo, questi errori possono rafforzare comportamenti indesiderati. Presentiamo Sauron, un verificatore agentico che mette le prove al primo posto: esamina sia lo stato sia la traccia e si affida a un’affermazione solo dopo averla verificata in modo indipendente rispetto alla sua fonte. Le interrogazioni circoscritte e l’esame congiunto di criteri correlati riducono l’uso del contesto e il lavoro ridondante; ogni giudizio è accompagnato da un resoconto verificabile delle prove che lo sostengono. Su 2.586 criteri etichettati da esseri umani, tratti da 100 episodi con assistenti personali, Sauron ottiene il punteggio F1 più alto fra cinque verificatori su tutti gli otto modelli di base testati, con un costo inferiore a quello di Gandalf, il più forte tra i sistemi di riferimento. Con GPT-5.6 Sol raggiunge un F1 di 0,96, contro lo 0,92 di Gandalf, a un costo inferiore del 23%, con un margine più ampio sui criteri relativi al processo. In una batteria di test appaiati con iniezione di errori che copre 13 categorie, alcune delle quali simulano il reward hacking, Sauron rileva il 97% degli errori introdotti e segnala soltanto il 2% dei controlli privi di errori, superando i sistemi di riferimento anche quando questi ricevono l’intera traccia. Su TRAIL, un benchmark per rilevare e localizzare errori reali degli agenti, Sauron supera sia Gandalf sia il valutatore di TRAIL in tutte e tre le metriche di qualità.