The Pulse

AWS presenta un sistema di valutazione degli agenti di IA utilizzabile con diversi framework

AWS ha presentato un sistema open source che valuta gli agenti di IA su diversi framework utilizzando 36 metriche integrate. Il sistema conserva i risultati delle valutazioni, consentendo ai team di confrontare le versioni degli agenti e an

AI.info Team · Scritto con l’IA · verificato · 2026-11-11

Un nuovo sistema di valutazione di AWS assegna punteggi agli agenti di IA realizzati con framework diversi utilizzando un insieme condiviso di 36 metriche, suddivise in sette dimensioni. L’Universal Agent Evaluation Framework, o UAEF, conserva anche i risultati per permettere il confronto tra versioni degli agenti, secondo un post di AWS pubblicato l’11 novembre.

Secondo AWS, clienti di 12 organizzazioni nei settori delle telecomunicazioni, della sanità e dei servizi finanziari hanno utilizzato il sistema per valutare gli agenti con metriche coerenti e confrontarne le versioni prima del rilascio. Il codice sorgente è disponibile con licenza Apache 2.0.

Un formato unico per le tracce degli agenti

Il sistema utilizza adattatori per trasformare i resoconti delle esecuzioni degli agenti in un formato di traccia comune. Questi resoconti possono includere messaggi, chiamate a strumenti e passaggi di consegne tra agenti. Il motore di valutazione assegna un punteggio alla traccia normalizzata anziché al formato prodotto dal framework originale dell’agente.

Gli adattatori coprono LangGraph, LangChain, Strands Agents, Amazon Bedrock AgentCore e le tracce raccolte in Langfuse. Un adattatore JSON generico gestisce gli altri framework. Il sistema può valutare una traccia esistente oppure chiamare un agente tramite un endpoint o un ambiente di esecuzione gestito e raccogliere una risposta da valutare.

Un dataset di test fornisce gli input per l’agente e può contenere anche le risposte attese. Le risposte di riferimento sono facoltative, anche se sono necessarie per le metriche che confrontano le risposte con un riferimento. Per valutare le chiamate agli strumenti, la ground truth deve includere gli strumenti attesi, il loro ordine e i loro argomenti.

Punteggi e misure di salvaguardia

Le metriche coprono le chiamate agli strumenti, la qualità delle risposte, l’IA responsabile, le prestazioni, le conversazioni su più turni, il coordinamento tra più agenti e il ragionamento. Ogni metrica restituisce un punteggio da 0 a 1, dove 1 è il migliore. Gli utenti possono anche aggiungere metriche personalizzate o utilizzare integrazioni con RAGAS e DeepEval.

Alcuni punteggi sono calcolati direttamente a partire dalla traccia e dalla ground truth. Altri utilizzano un grande modello linguistico su Amazon Bedrock per giudicare qualità come la pertinenza o la sicurezza. Per limitare l’effetto di output degli agenti che tentano di influenzare un giudice, il sistema separa i criteri di valutazione dal contenuto valutato e verifica che gli elementi citati dal giudice a sostegno della valutazione compaiano in quel contenuto.

AWS ha precisato che i punteggi dei giudici sono segnali di valutazione, non decisioni sulla sicurezza, e non dovrebbero determinare l’attivazione di un controllo di sicurezza. Il sistema esamina le tracce alla ricerca di informazioni che consentono l’identificazione personale prima di archiviarle, e gli utenti che gestiscono dati sensibili possono attivare l’oscuramento di tali informazioni nella copia archiviata.

Confronto tra esecuzioni

Quando un’esecuzione viene salvata, i metadati e le medie dell’esperimento vengono archiviati in Amazon DynamoDB, mentre i risultati completi vengono scritti su Amazon S3. Un’esecuzione può registrare dettagli della configurazione sottoposta a test, tra cui il modello, gli strumenti, il prompt di sistema e i parametri. Un team può contrassegnare un’esecuzione come riferimento per confronti successivi.

Il motore di confronto calcola le variazioni assolute e percentuali per le metriche condivise dalle esecuzioni messe a confronto. La soglia predefinita per classificare una variazione come regressione o miglioramento è del 5 per cento e può essere configurata. Il rilevatore raggruppa inoltre le regressioni per dimensione e assegna loro un grado di gravità.

L’interfaccia web mostra i risultati per esperimento, metrica e caso di test e può generare un rapporto statistico dai punteggi archiviati senza utilizzare un modello linguistico. La libreria Python può anche passare un rapporto a un modello per l’analisi, comprese ipotesi sulle cause e suggerimenti sui passi successivi. I team possono quindi modificare il prompt, il modello o gli strumenti di un agente e valutarlo nuovamente.