The Pulse
MLPerf Endpoints testa i servizi di IA attivi con carichi simili a quelli di produzione
MLPerf Endpoints v1.0 di MLCommons misura gli endpoint API attivi su diversi carichi di lavoro e livelli di concorrenza. Chi invia i risultati può pubblicare risultati provvisori dopo i controlli automatici, prima che la revisione tra pari sia completata.

Testare l’intero stack
MLPerf Endpoints v1.0 testa gli endpoint API attivi con carichi simili a quelli di produzione, misurando il comportamento di un sistema a diversi livelli di domanda invece di assegnargli un unico punteggio di picco. In un post pubblicato il 20 novembre, MLCommons ha affermato che il benchmark considera insieme hardware, modello, software di serving, comportamento del batching e rete.
Il benchmark restituisce un insieme di punti operativi misurati, o frontiera di Pareto, che mostra il throughput rispetto alla velocità per utente a diversi livelli di concorrenza. Le misurazioni includono il throughput del sistema in token al secondo e il tempo al primo token al 90° percentile.
MLCommons afferma che la visualizzazione LoadStair risultante usa misurazioni discrete e funzioni a gradini, anziché curve interpolate, per mostrare le soglie operative e i potenziali cali bruschi delle prestazioni. L’organizzazione afferma che i dati non sono stimati né interpolati.
Carichi di lavoro e modelli
La suite include la summarization a esecuzione singola con Llama 3.1 8B Instruct e GPT-OSS 120B, usando dati CNN/DailyMail e forme di traffico standard per le pipeline documentali. Il carico di lavoro di ragionamento a esecuzione singola usa DeepSeek-R1 con prompt impegnativi di matematica e scienze che mettono alla prova la generazione prolungata di token.
Un carico di lavoro di coding agentico multi-turno usa Qwen 3.6, Kimi K3 e DeepSeek V4 Pro. Riproduce 613 traiettorie con cicli di contesto progressivamente più ampi.
L’organizzazione afferma che la suite usa carichi di lavoro impiegati dai clienti, anziché test sintetici. I benchmark agentici richiedono sette punti di misurazione discreti, mentre le suite non agentiche ne richiedono da otto a 32, inclusa un’esecuzione Offline dedicata.
Preparare una submission
Chi invia i risultati deve firmare il MLCommons Contributor License Agreement, ottenere una chiave API PRISM e installare i client di riferimento. Deve quindi eseguire lo strumento inference-endpoint su un endpoint attivo ai livelli di concorrenza selezionati.
Il pacchetto di submission deve includere system_desc.json, che descrive la configurazione hardware e software, e system_power.json, che indica la potenza del sistema configurato per le metriche di normalizzazione della potenza. Chi invia i risultati convalida il pacchetto localmente prima di caricarlo tramite lo strumento a riga di comando per la submission, che genera un ID e apre una richiesta di revisione tra pari.
La documentazione afferma che un benchmark non agentico richiede almeno otto punti e cinque esecuzioni di accuratezza, con il warmup in aggiunta alle esecuzioni a regime specificate. I benchmark agentici richiedono sette punti e quattro esecuzioni di accuratezza; i punti oltre la concorrenza 32 durano ciascuno 2.400 secondi.
La documentazione per chi invia i risultati afferma che le regole della v1.0 sono una bozza di lavoro e che alcune sezioni che disciplinano la durata delle esecuzioni e le dichiarazioni sono provvisorie o in attesa della ratifica del gruppo di lavoro. Invita a consultare il repository delle policy in caso di discrepanze tra la documentazione e le policy.
Revisione e pubblicazione
Secondo il modello di submission a flusso continuo, i risultati vengono pubblicati in gruppi il primo e il terzo mercoledì di ogni mese. Per rientrare in un gruppo, una submission deve superare i controlli automatici di conformità e la revisione tra pari almeno un giorno lavorativo prima della data di pubblicazione del gruppo.
MLCommons consente anche di condividere risultati provvisori dopo un controllo automatico, prima che la revisione tra pari sia completata. I risultati finali verificati possono essere sottoposti a embargo per coincidere con un evento o un lancio.
La documentazione per la submission descrive la revisione riservata come modalità di pubblicazione predefinita. I risultati provvisori sono contrassegnati come in attesa della revisione tra pari fino alla finalizzazione, mentre l’embargo su una submission provvisoria ritarda anche l’inizio della revisione.
Fonti
- Fonte originale MLCommons · Mlperf endpoints how to submit mlcommons.org
Altre pagine lette
- MLCommons · Endpoints submission docs docs.mlcommons.org
- MLCommons · How submission works docs.mlcommons.org
- MLCommons · Before you begin docs.mlcommons.org
Notizie correlate
- MLPerf Training aggiunge test agentici e di raccomandazione nella v6.1
- NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training
- Google riferisce i risultati delle TPU Ironwood nei test di addestramento MLPerf
- CoreWeave comunica i risultati di addestramento dell’IA su più rack con Vera Rubin
- Vals AI mette alla prova modelli decisionali nella gestione di un parco a tema