The Pulse
MLPerf Endpoints testet KI-Dienste unter produktionsähnlicher Auslastung
MLPerf Endpoints v1.0 von MLCommons misst Live-API-Endpunkte über verschiedene Workloads und Parallelitätsstufen hinweg. Einreichende können nach automatisierten Prüfungen vorläufige Ergebnisse veröffentlichen, bevor die Peer-Review abgeschlossen ist.

Test des gesamten Stacks
MLPerf Endpoints v1.0 testet Live-API-Endpunkte unter produktionsähnlicher Auslastung und misst das Verhalten eines Systems bei unterschiedlichen Nachfrageniveaus, statt einen einzelnen Spitzenwert auszuweisen. In einem am 20. November veröffentlichten Beitrag erklärte MLCommons, der Benchmark erfasse gemeinsam die Hardware, das Modell, die Serving-Software, das Batching-Verhalten und die Netzwerkanbindung.
Der Benchmark liefert eine Reihe gemessener Betriebspunkte oder eine Pareto-Front, die den Durchsatz der Geschwindigkeit pro Nutzer bei verschiedenen Parallelitätsstufen gegenüberstellt. Zu den Messwerten gehören der Systemdurchsatz in Tokens pro Sekunde und die Zeit bis zum ersten Token am 90. Perzentil.
Die LoadStair-Visualisierung stelle diskrete Messwerte und Treppenfunktionen statt interpolierter Kurven dar, um Betriebsschwellen und mögliche Leistungseinbrüche aufzuzeigen, erklärt MLCommons. Die Organisation betont, dass die Daten weder geschätzt noch interpoliert seien.
Workloads und Modelle
Die Testsuite umfasst eine einmalige Zusammenfassung mit Llama 3.1 8B Instruct und GPT-OSS 120B sowie CNN/DailyMail-Daten und standardmäßigen Verkehrsprofilen einer Dokumenten-Pipeline. Für den einmaligen Reasoning-Workload kommt DeepSeek-R1 mit anspruchsvollen Prompts zu Mathematik und Naturwissenschaften zum Einsatz, die eine anhaltende Token-Generierung beanspruchen.
Ein mehrstufiger agentischer Coding-Workload nutzt Qwen 3.6, Kimi K3 und DeepSeek V4 Pro. Dabei werden 613 Trajektorien mit sich ausweitenden Kontextschleifen erneut abgespielt.
Die Organisation erklärt, die Testsuite nutze Workloads, die Kunden tatsächlich verwenden, statt synthetischer Tests. Agentische Benchmarks erfordern sieben diskrete Messpunkte, während nicht-agentische Testsuiten acht bis 32 Punkte einschließlich eines eigens vorgesehenen Offline-Laufs erfordern.
Eine Einreichung vorbereiten
Einreichende müssen die MLCommons Contributor License Agreement unterzeichnen, einen PRISM-API-Schlüssel erhalten und die Referenz-Clients installieren. Anschließend führen sie das Inference-Endpoint-Tool mit einem Live-Endpunkt bei den von ihnen ausgewählten Parallelitätsstufen aus.
Das Einreichungspaket muss system_desc.json enthalten, das die Hardware- und Softwarekonfiguration beschreibt, sowie system_power.json, das die bereitgestellte Systemleistung für Kennzahlen zur Leistungsnormalisierung angibt. Einreichende validieren das Paket lokal, bevor sie es über das Kommandozeilen-Tool für Einreichungen hochladen. Dieses generiert eine ID und eröffnet eine Peer-Review-Anfrage.
Der Dokumentation zufolge erfordert ein nicht-agentischer Benchmark mindestens acht Messpunkte und fünf Genauigkeitsläufe; zusätzlich zu den festgelegten Läufen im stationären Zustand ist ein Aufwärmlauf vorgesehen. Agentische Benchmarks erfordern sieben Messpunkte und vier Genauigkeitsläufe; Messpunkte oberhalb einer Parallelität von 32 laufen jeweils 2.400 Sekunden.
In der Dokumentation für Einreichende heißt es, die Regeln für v1.0 seien ein Arbeitsentwurf und einige Abschnitte zu Laufdauer und Offenlegungen seien vorläufig oder stünden noch unter dem Vorbehalt der Ratifizierung durch die Arbeitsgruppe. Wenn Dokumentation und Richtlinien voneinander abweichen, verweist sie Einreichende auf das Richtlinien-Repository.
Prüfung und Veröffentlichung
Im Rahmen des fortlaufenden Einreichungsmodells werden Ergebnisse am ersten und dritten Mittwoch jedes Monats in Gruppen veröffentlicht. Eine Einreichung muss die automatisierten Compliance-Prüfungen und die Peer-Review mindestens einen Geschäftstag vor einem Veröffentlichungstermin bestehen, um in diese Gruppe aufgenommen zu werden.
MLCommons erlaubt außerdem, vorläufige Ergebnisse nach einer automatischen Prüfung zu veröffentlichen, bevor die Peer-Review abgeschlossen ist. Endgültige, verifizierte Ergebnisse können unter Embargo gehalten werden, damit ihre Veröffentlichung mit einer Veranstaltung oder einem Launch zusammenfällt.
Die Einreichungsdokumentation beschreibt die vertrauliche Prüfung als standardmäßigen Veröffentlichungsmodus. Vorläufige Ergebnisse sind bis zum Abschluss als ausstehende Peer-Review gekennzeichnet; ein Embargo für eine vorläufige Einreichung verschiebt außerdem den Beginn der Prüfung.
Quellen
- Originalquelle MLCommons · Mlperf endpoints how to submit mlcommons.org
Weitere gelesene Seiten
- MLCommons · Endpoints submission docs docs.mlcommons.org
- MLCommons · How submission works docs.mlcommons.org
- MLCommons · Before you begin docs.mlcommons.org
Verwandte Meldungen
- Vals AI testet Entscheidungsmodelle beim Betrieb eines Freizeitparks
- Eole beginnt im Rahmen einer Partnerschaft mit dem Weiterverkauf von SoftBank-GPU-Diensten
- Valkey 9.2 ergänzt Backup- und Replikationsfunktionen; parallel dazu kommt ein KI-Cache
- Quad-Staats- und Regierungschefs unterstützen KI-Beschleuniger für den Zugang im Indopazifik
- FlashInfer auf ROCm routet AMD-GPU-Kernels automatisch