The Pulse
MLPerf Endpoints testa serviços de IA ao vivo sob cargas semelhantes às de produção
O MLPerf Endpoints v1.0, da MLCommons, mede endpoints de API ao vivo em diferentes cargas de trabalho e níveis de concorrência. Os participantes podem divulgar resultados provisórios após verificações automatizadas, antes da conclusão da revisão por pares.

Testes de ponta a ponta
O MLPerf Endpoints v1.0 testa endpoints de API ao vivo sob cargas semelhantes às de produção, medindo o comportamento de um sistema em diferentes níveis de demanda, em vez de atribuir a ele uma única pontuação de pico. Em uma publicação de 20 de novembro, a MLCommons afirmou que o benchmark avalia em conjunto o hardware, o modelo, o software de serving, o comportamento de batching e a rede.
O benchmark retorna um conjunto de pontos operacionais medidos, ou uma fronteira de Pareto, que mostra a vazão em relação à velocidade por usuário em diferentes níveis de concorrência. As medições incluem a vazão do sistema em tokens por segundo e o tempo até o primeiro token no percentil 90.
A MLCommons afirma que a visualização LoadStair resultante usa medições discretas e funções em degraus, em vez de curvas interpoladas, para mostrar limites operacionais e possíveis quedas bruscas de desempenho. A organização diz que os dados não são estimados nem interpolados.
Cargas de trabalho e modelos
O conjunto inclui sumarização de rodada única usando Llama 3.1 8B Instruct e GPT-OSS 120B, com dados do CNN/DailyMail e padrões de tráfego padrão de pipeline de documentos. Sua carga de trabalho de raciocínio de rodada única usa DeepSeek-R1 com prompts difíceis de matemática e ciências que exigem geração contínua de tokens.
Uma carga de trabalho de programação agêntica com várias interações usa Qwen 3.6, Kimi K3 e DeepSeek V4 Pro. Ela reproduz 613 trajetórias com loops de contexto em expansão.
A organização afirma que o conjunto usa cargas de trabalho utilizadas pelos clientes, em vez de testes sintéticos. Benchmarks agênticos exigem sete pontos de medição discretos, enquanto os conjuntos não agênticos exigem de oito a 32 pontos, incluindo uma execução Offline dedicada.
Preparação de uma submissão
Os participantes devem assinar o Acordo de Licença de Contribuidor da MLCommons, obter uma chave de API do PRISM e instalar os clientes de referência. Em seguida, executam a ferramenta de endpoint de inferência em um endpoint ao vivo nos níveis de concorrência que selecionarem.
O pacote de submissão deve incluir system_desc.json, que descreve a configuração de hardware e software, e system_power.json, que informa a potência provisionada do sistema para as métricas de normalização de potência. Os participantes validam o pacote localmente antes de enviá-lo pela ferramenta de linha de comando de submissão, que gera um ID e abre uma solicitação de revisão por pares.
A documentação diz que um benchmark não agêntico exige no mínimo oito pontos e cinco execuções de precisão, com aquecimento além das execuções especificadas em regime estável. Benchmarks agênticos exigem sete pontos e quatro execuções de precisão; cada execução em pontos acima de 32 de concorrência dura 2.400 segundos.
A documentação para participantes diz que as regras da v1.0 são um rascunho em elaboração e que algumas seções que regem a duração das execuções e as divulgações são provisórias ou aguardam ratificação pelo grupo de trabalho. Ela orienta os participantes a consultar o repositório de políticas quando a documentação e a política divergirem.
Revisão e publicação
No modelo de submissão contínua, os resultados são publicados em coortes na primeira e na terceira quarta-feira de cada mês. Para integrar uma coorte, uma submissão deve passar pelas verificações automatizadas de conformidade e pela revisão por pares pelo menos um dia útil antes da data da coorte.
A MLCommons também permite que resultados provisórios sejam divulgados após uma verificação automática, antes da conclusão da revisão por pares. Resultados finais verificados podem ser mantidos sob embargo para coincidir com um evento ou lançamento.
A documentação de submissão descreve a revisão confidencial como o modo padrão de publicação. Resultados provisórios são marcados como pendentes de revisão por pares até a finalização, enquanto um embargo sobre uma submissão provisória também adia o início da revisão.
Fontes
- Fonte original MLCommons · Mlperf endpoints how to submit mlcommons.org
Outras páginas lidas
- MLCommons · Endpoints submission docs docs.mlcommons.org
- MLCommons · How submission works docs.mlcommons.org
- MLCommons · Before you begin docs.mlcommons.org
Notícias relacionadas
- Vals AI testa modelos de decisão na operação de um parque temático
- Eole começa a revender serviços de GPU da SoftBank em parceria
- Supermicro começa a enviar servidores de armazenamento all-flash PCIe Gen 6 para IA
- Valkey 9.2 adiciona recursos de backup e replicação junto com cache de IA
- Líderes do Quad apoiam acelerador de IA para ampliar o acesso no Indo-Pacífico