The Pulse

MLPerf aggiunge test RAG e per agenti edge ai risultati della v6.1

MLPerf Inference v6.1 di MLCommons aggiunge benchmark per le pipeline di generazione aumentata tramite recupero di informazioni e per l’inferenza agentica su dispositivi edge.

AI.info Team · Scritto con l’IA · verificato · 2026-09-16

MLCommons amplia MLPerf oltre i test di velocità dei singoli modelli, aggiungendo benchmark per i sistemi a più fasi che oggi gestiscono la generazione aumentata tramite recupero di informazioni e gli agenti sui dispositivi. I risultati di Inference v6.1 dell’organizzazione, pubblicati il 16 settembre, introducono un test RAG end-to-end e un test Edge Agentic Inference, raccogliendo contributi da un numero record di 30 organizzazioni.

Il cambiamento affronta una discrepanza che si è accentuata con la crescente complessità delle implementazioni dell’IA. Un benchmark convenzionale per modelli linguistici può misurare la generazione di token, ma non rileva le fasi di embedding, recupero, riordinamento e generazione delle risposte in una pipeline RAG, né l’espansione del contesto e le ripetute chiamate agli strumenti in una sessione di programmazione agentica. MLCommons misura ora questi flussi di lavoro come sistemi interconnessi, anziché come chiamate isolate ai modelli.

MLCommons ha dichiarato che la pubblicazione include i primi risultati di performance sottoposti a revisione paritaria per diverse piattaforme rilasciate di recente o in arrivo e mostra miglioramenti fino a 5,7 volte rispetto alle precedenti tornate di benchmark.

Un test per l’intera pipeline RAG

Il nuovo benchmark End-to-End Retrieval-Augmented Generation misura due carichi di lavoro correlati. Il primo acquisisce un corpus di documenti e costruisce un database vettoriale. Il secondo risponde alle domande usando quel database attraverso una pipeline iterativa che recupera i passaggi candidati, li riordina e invia gli elementi utili a uno o più grandi modelli linguistici.

Questa impostazione rende il test sostanzialmente diverso da un benchmark di generazione del linguaggio. Le performance dipendono da come il sistema coordina diversi modelli e servizi, non soltanto dalla velocità con cui un acceleratore produce token. MLCommons ha introdotto il benchmark ad agosto, descrivendolo come il primo test di inferenza MLPerf a valutare una pipeline RAG completa, dalla creazione del database alle risposte a domande che richiedono più passaggi di ragionamento.

«Abbiamo aggiunto il test End-to-end RAG perché è chiaro che la risposta alle domande si è evoluta oltre il semplice uso di un LLM addestrato su un corpus; le parti interessate devono comprendere le performance nel mondo reale dei tipi di pipeline a più fasi e più componenti che vengono costruite oggi.»

— Miro Hodak, co-presidente del gruppo di lavoro MLPerf Inference

Gli agenti edge affrontano un vincolo diverso

Il test Edge Agentic Inference riguarda un problema distinto: un singolo utente che esegue un agente capace di gestire più turni su un dispositivo con memoria, alimentazione e capacità di elaborazione fisse. Il suo carico di lavoro utilizza il modello Qwen3.6-27B in forma quantizzata e riproduce interazioni di programmazione in cui ogni turno dipende dalla conversazione e dai risultati degli strumenti precedenti.

MLCommons misura il tempo necessario per il primo token, il tempo per ogni token in output e la latenza end-to-end per ciascun turno. Il test esegue una richiesta alla volta, anziché misurare la capacità di elaborazione con un alto numero di richieste simultanee, privilegiata dai sistemi dei data center. Include inoltre una soglia di accuratezza basata sulla Berkeley Function Calling Leaderboard v4 e una verifica della correttezza durante l’esecuzione per le traiettorie di programmazione registrate.

La specifica edge fissa il contesto servito a 32.000 token. Questo consente al benchmark di misurare in modo controllato gli effetti di lunghe cronologie agentiche, senza trattare il limite di memoria di ciascun dispositivo come una diversa condizione di test. Le linee guida di MLCommons per la presentazione dei risultati descrivono un insieme di riferimento per le performance composto da 20 conversazioni e 1.007 turni.

«Allo stesso modo, abbiamo aggiunto il test Edge Agentic Inference perché i sistemi di inferenza complessi con proprietà agentiche sono sempre più spesso ospitati su dispositivi di edge computing, creando una nuova serie di sfide in termini di performance che i nostri clienti affrontano oggi.»

— Miro Hodak, co-presidente del gruppo di lavoro MLPerf Inference

La decodifica speculativa arriva in più test

Inference v6.1 aggiunge anche il supporto alla decodifica speculativa nello scenario interattivo per due benchmark, tra cui il compito GPT-OSS. La tecnica utilizza una fase di previsione più rapida per proporre più token prima che un modello più grande li verifichi, consentendo ai sistemi di ridurre parte del ritardo associato alla generazione sequenziale.

La pubblicazione non presenta questa ottimizzazione come un punteggio principale a sé stante. Aggiunge invece la funzionalità al framework di benchmark esistente, in modo che chi presenta i risultati possa riportare le performance ottenute con un metodo già impiegato nei sistemi di inferenza in produzione.

Trenta organizzazioni presentano risultati

MLPerf Inference v6.1 riceve contributi da 30 organizzazioni, tra cui AMD, Cisco, CoreWeave, Dell, Google, Intel, Microsoft Azure, NVIDIA, Oracle, Red Hat e Supermicro. MLCommons individua sei partecipanti alla loro prima presentazione di risultati: Atlas Inference, Crusoe, Orrick Industries LLC, ScitiX, VibeHPC e il collaboratore individuale Naeem Khoshnevis.

La tornata comprende cinque nuovi processori o acceleratori: AMD Ryzen AI Max+ 395, AMD Instinct MI350P, Intel Arc Pro B70, NVIDIA Rubin e NVIDIA Vera Rubin NVL72. Gli ultimi due compaiono in sistemi di anteprima, mentre i componenti AMD e Intel sono indicati come disponibili. Una delle configurazioni presentate utilizza 512 acceleratori: è il sistema più grande finora sottoposto a MLPerf Inference.

Compaiono anche due configurazioni eterogenee insolite, riferisce MLCommons. Una combina una rete ad alte prestazioni con acceleratori di due fornitori. L’altra distribuisce il sistema geograficamente attraverso l’oceano Pacifico, estendendo il benchmark oltre una singola macchina o una sala di un data center.

I miglioramenti delle performance si accompagnano a sistemi più complessi

Alcuni risultati selezionati mostrano grandi miglioramenti rispetto alle tornate precedenti, ma i confronti dipendono dal carico di lavoro e dallo scenario. Il miglior risultato per acceleratore su server nel test Visual Language Model migliora di 2,99 volte rispetto alla v6.0, pubblicata sei mesi prima. Il miglior risultato per acceleratore su server per DeepSeek R1 migliora di 5,7 volte rispetto alla v5.1 di un anno prima.

Queste cifre misurano il ritmo di miglioramento dell’hardware e del software all’interno di specifici scenari MLPerf; non significano che ogni implementazione dell’IA sia 5,7 volte più veloce. Il cambiamento più significativo nella v6.1 è la varietà dei sistemi misurati: dai singoli acceleratori edge che eseguono un agente interattivo alle grandi installazioni eterogenee che gestiscono pipeline con più modelli.

Frank Han, co-presidente del gruppo di lavoro MLPerf Inference, ha affermato che i risultati forniscono ai clienti maggiori informazioni sui «compromessi tra costi e benefici» legati all’acquisto e all’implementazione di sistemi di IA. Più della metà dei partecipanti ha utilizzato il nuovo framework di test di MLCommons incentrato sulle API, che segue un’architettura client-server basata su API standard ed è destinato a supportare la suite MLPerf Endpoints prevista dall’organizzazione.

MLPerf Endpoints sostituirà in futuro Inference per i benchmark dei data center, afferma MLCommons. Per la v6.1, il framework basato sulle API offre già un ponte tra le tabelle dei risultati consolidate del benchmark e il modello di implementazione che l’organizzazione dichiara di voler misurare nella fase successiva.