The Pulse
MLCommons ottiene 3,5 milioni di dollari per sviluppare un benchmark per gli agenti di IA
MLCommons userà un finanziamento di 3,5 milioni di dollari, della durata di due anni, per sviluppare MLPerf Agents, un benchmark che misura l’efficienza dei flussi di lavoro completi degli agenti di IA. I primi carichi di lavoro previsti ri
AI.info Team · Scritto con l’IA ·
Un finanziamento di 3,5 milioni di dollari, della durata di due anni, sosterrà il nuovo benchmark di MLCommons per misurare l’efficienza con cui gli agenti di IA portano a termine compiti reali, ha annunciato il consorzio senza scopo di lucro il 15 ottobre. Il benchmark, chiamato MLPerf Agents, è progettato per seguire il lavoro di un agente dall’obiettivo che gli viene affidato fino a un risultato verificato, non soltanto per misurare la velocità con cui il modello genera le risposte.
MLPerf Agents misura l’intero flusso di lavoro
Un agente può richiamare ripetutamente un modello, usare strumenti, recuperare informazioni, gestire un contesto in espansione, riprendersi dagli errori e verificare il proprio lavoro. MLCommons afferma che MLPerf Agents terrà conto di questi passaggi, oltre che dell’infrastruttura di esecuzione dell’agente, della scelta del modello, dell’orchestrazione, della gestione dello stato e della validazione. L’obiettivo è misurare le risorse consumate dall’intero sistema, anziché isolare le prestazioni nell’erogazione del modello.
Le metriche previste comprendono costo, energia, latenza e throughput, misurati sui compiti che il sistema porta a termine con successo. MLCommons afferma che le verifiche del successo si baseranno su metodi elaborati dai suoi gruppi di lavoro AI Risk and Responsibility. Carichi di lavoro comuni e regole condivise per il tracciamento e la misurazione dovrebbero rendere confrontabili i risultati di sistemi progettati in modi diversi, mentre dati di validazione non divulgati e procedure di revisione e audit mirano a limitare la manipolazione del benchmark.
Per la prima versione sono previsti tre carichi di lavoro
MLCommons indica come ambiti iniziali l’ingegneria del software, la ricerca e l’analisi dei dati e l’assistenza clienti. Queste categorie metterebbero alla prova i sistemi su diverse forme di lavoro affidato loro, dai compiti di programmazione alla raccolta di informazioni e alle interazioni con i clienti. L’annuncio non specifica gli insiemi di compiti, le soglie di valutazione né un calendario di pubblicazione.
Il progetto si basa anche sul lavoro che MLCommons ha già in corso sui benchmark. Il suo gruppo di lavoro MLPerf Inference sta sviluppando test per l’inferenza agentica, tra cui scambi su più turni, chiamate agli strumenti, contesto crescente e riutilizzo della cache. La pagina dedicata al distinto benchmark MLPerf Client di MLCommons descrive test per agenti impegnati in compiti di ingegneria del software e di analisi dei dati su personal computer, con la durata dall’inizio alla fine come metrica; MLPerf Agents è presentato come una misura più ampia del flusso di lavoro completo.
Reddi: agli acquirenti non bastano i risultati sulla velocità dei token
David Kanter, fondatore di MLCommons e responsabile di MLPerf, e il professor Vijay Janapa Reddi, cofondatore e vicepresidente di MLCommons, guideranno il lavoro insieme alla comunità del consorzio. L’annuncio cita Qualcomm, NVIDIA, Intel, AT&T, Workato e Gimlet Labs tra le organizzazioni che sostengono l’iniziativa.
«MLPerf Agents fornirà agli sviluppatori le evidenze di cui hanno bisogno per individuare e correggere queste inefficienze, e agli acquirenti quelle di cui hanno bisogno per scegliere sistemi efficienti».
Vijay Janapa Reddi, membro del consiglio di amministrazione e vicepresidente per la ricerca di MLCommons
Il finanziamento arriva attraverso l’AI Efficiency Challenge di STRIDE Ventures, un programma sostenuto dalla Directorate for Technology, Innovation and Partnerships della U.S. National Science Foundation e gestito da Start2 Group in base a un accordo con NSF. Il bando della sfida chiede ai team che sviluppano benchmark di creare benchmark di settore per valutare l’efficienza dello stack software per l’IA e verificare i miglioramenti dell’efficienza. Per MLPerf Agents, i prossimi traguardi concreti non sono ancora specificati: l’annuncio non indica una data di pubblicazione, le specifiche dei carichi di lavoro né le regole per giudicare se un compito sia stato portato a termine con successo.