Alla prova delle tracce: un benchmark per l’affidabilità degli harness degli agenti di IA e l’attribuzione dei fallimenti

Abstract degli autori

Gli agenti basati su LLM sono sempre più utilizzati per risolvere problemi reali e la loro efficacia dipende sia dai modelli sottostanti sia dagli harness che ne supportano il funzionamento. La maggior parte dei benchmark esistenti, tuttavia, si concentra sulle capacità dei modelli e sulle prestazioni complessive degli agenti, dedicando poca attenzione alla valutazione degli harness. Per colmare questa lacuna, presentiamo TraceTrial-Bench, che suddivide l’affidabilità degli harness in sette componenti: contesto, esecuzione, governance, ciclo di vita, osservabilità, strumenti e verifica. Abbiamo costruito 95 compiti di livello esperto, incentrati sui meccanismi e dotati di una ground truth eseguibile o basata sullo stato, per consentire confronti semanticamente equivalenti preservando il comportamento nativo di ciascun harness. Abbiamo progettato un modulo Trajectory Tracing (TT) per acquisire le tracce di esecuzione degli agenti e introdotto un sistema di valutazione a due livelli, che esamina separatamente le prestazioni degli agenti e l’affidabilità degli harness. Abbiamo inoltre progettato un modulo Multi-source Evidence Acquisition (MEA) che fornisce, per la valutazione basata sugli LLM, elementi di prova ricavati dal contesto dell’agente, dall’harness e dall’ambiente di esecuzione, e sviluppato un modulo Failure Attribution (FA) che utilizza catene esplicite di meccanismi per attribuire i fallimenti a livello di singola esecuzione. Su 4 harness, 9 modelli e 95 compiti, la valutazione di 3.420 esecuzioni produce punteggi degli harness, calcolati come media macro, compresi tra il 59,8% e il 72,0%; il 31,1% delle esecuzioni porta a termine il compito pur non soddisfacendo almeno un criterio relativo all’harness. TraceTrial-Bench offre una base verificabile e riproducibile per confrontare gli harness degli agenti, diagnosticare i loro fallimenti e studiare l’interazione tra la progettazione degli harness e il comportamento dei modelli.