AuditKIT: una spina dorsale unificata per valutare, giudicare e confrontare modelli linguistici di grandi dimensioni e sistemi agentici

Abstract degli autori

Valutare modelli linguistici e agenti richiede di combinare accuratezza sui benchmark, valutazioni basate su giudici, prestazioni a runtime, comportamento nell’uso degli strumenti e qualità del recupero. Le differenze tra interfacce, semantica delle metriche e formati delle tracce complicano questi confronti e possono celare errori nei flussi di lavoro agentici. Presentiamo AuditKIT, una libreria di valutazione con codice sorgente disponibile che registra queste misurazioni in un’unica rappresentazione dei risultati, con contratti delle metriche che tengono conto della direzione, impronte digitali della configurazione e metriche e backend estensibili. Per gli agenti, offre l’abbinamento delle chiamate agli strumenti consapevole dei turni, separa l’esecuzione parallela da quella sequenziale e distingue gli esiti verificati dei compiti dalle diagnostiche a livello di traiettoria. Le evidenze mancanti o non osservabili sono contrassegnate come non valutate, anziché conteggiate come errori. Per la generazione aumentata dal recupero, combina metriche di recupero basate sul ranking, grounding valutato da giudici e verifiche deterministiche delle evidenze. Sette casi di studio, che spaziano dal confronto tra modelli ai runtime di serving, al recupero, alle chiamate agli strumenti e all’interoperabilità, mostrano come l’estrazione delle risposte, il comportamento a runtime e la selezione delle metriche cambino gli esiti della valutazione.