The Pulse
Lambda meldet Durchsatzlücke bei RoCE in KI-Inferenztest
Laut Lambda erreichte RoCE nahe der Hardware-Sättigung in einem Inferenzexperiment einen um rund 70 % niedrigeren Durchsatz als NVIDIA Quantum InfiniBand. Verglichen wurden Zwei-Knoten-Konfigurationen mit HGX B200, die sich hinsichtlich Netzwerk-Fabric, Platzierung und Einstellungen unterschieden.

Ein Inferenztest ergab laut Lambda bei RoCE nahe der Hardware-Sättigung einen um rund 70 % niedrigeren Durchsatz und eine um den Faktor 2,5 längere Zeit bis zum ersten Token als bei NVIDIA Quantum InfiniBand. Der am 20. November veröffentlichte Vergleich nutzte Zwei-Knoten-Konfigurationen mit HGX B200, die sich neben der Verbindung auch hinsichtlich Platzierung und Netzwerkeinstellungen unterschieden.
Das Unternehmen gibt an, dass die Durchsatzlücke auftrat, als die Parallelität etwa 250 Nutzer erreichte. Es bietet Zugang zu beiden getesteten Konfigurationen an: On-Demand-Instanzen mit RoCE-Verbindung und 1-Click-Clusters mit einem dedizierten InfiniBand-Fabric.
So wurde der Test durchgeführt
Für den InfiniBand-Test nutzte Lambda zwei NVIDIA-HGX-B200-Knoten aus einem 1-Click-Cluster, die über NVIDIA-Quantum-InfiniBand-Switches und -Adapter verbunden waren. Für RoCE kamen zwei On-Demand-HGX-B200-Knoten zum Einsatz. Die On-Demand-Instanzen befanden sich in derselben Cloud-Region, aber nicht zwingend im selben Rechenzentrum.
Beide Setups führten nvidia/GLM-5.2-NVFP4 aus, eine für NVIDIA Blackwell optimierte Variante des Modells GLM 5.2 von Z.ai. Als Serving-Framework diente SGLang mit TP16/DP16/EP16-Parallelismus; als Benchmarking-Tool kam AIPerf von NVIDIA zum Einsatz.
Jede Anfrage umfasste 8.192 Eingabe-Tokens und 1.024 Ausgabe-Tokens. Im Test wurden 10 bis 300 simulierte gleichzeitige Anfragen verwendet. Die Server nutzten einen gemeinsamen Grundsatz an SGLang-Flags, darunter maximal 512 laufende Anfragen und einen statischen Speicheranteil von 0,70.
Die Netzwerkeinstellungen unterschieden sich zwischen den Konfigurationen. Das RoCE-Setup verwendete RoCEv2 und deaktivierte IBGDA in seiner NVSHMEM-Einstellung, während es im InfiniBand-Setup aktiviert war und eine andere Reihe von Host-Channel-Adaptern aufgeführt wurde. Der Vergleich umfasst daher die von Lambda ausgeführten Konfigurationen und nicht allein das Netzwerk-Fabric.
Durchsatz und Latenz
Lambda führt den Durchsatzrückgang bei 250 gleichzeitigen Nutzern auf die Hardware-Bandbreitengrenze der NVIDIA-Blackwell-GPUs zurück. Außerdem berichtet das Unternehmen, dass bei sinkender Nutzerzahl eine geringe Parallelität insgesamt die höchste Inter-Token-Latenz und die niedrigste Tokenzahl pro Sekunde aufwies.
Unterschiedliche Netzwerk-Fabrics
RDMA over Converged Ethernet, kurz RoCE, umfasst RoCEv1 und RoCEv2. RoCE arbeitet auf Schicht 2: Es nutzt Ethernet und MAC-Adressen zur Kommunikation innerhalb desselben Netzwerks. Knoten können über mehrere Switches verteilt sein, müssen aber im selben Basisnetz bleiben. RoCEv2 baut darauf auf und verwendet UDP/IP-Pakete, wodurch Knoten über verschiedene Subnetze, Gebäude oder Rechenzentren hinweg kommunizieren können.
NVIDIA Quantum InfiniBand nutzt statt Ethernet/IP ein dediziertes Netzwerk-Fabric und kann Switches und Standorte überbrücken. Um laut Lambda maximale Leistung bei minimaler Latenz zu erzielen, müssen die entsprechenden Switches und das Fabric vorhanden sein.
Das Unternehmen schätzt die typische InfiniBand-Latenz auf etwa 0,5–2 Mikrosekunden, verglichen mit rund 1–3 Mikrosekunden bei RoCE auf einem gut optimierten lokalen Fabric. RoCE sei stärker von Konfiguration, Überlastung und Topologie abhängig. Unter ungünstigeren Bedingungen könne die Latenz um ein Mehrfaches steigen und bei Überlastung möglicherweise mehrere zehn Millisekunden erreichen.
Quellen
- Originalquelle · Blogbeitrag Lambda lambda.com
Verwandte Meldungen
- Eole beginnt im Rahmen einer Partnerschaft mit dem Weiterverkauf von SoftBank-GPU-Diensten
- Cegedim eröffnet französisches Rechenzentrum für KI und hochdichtes Computing
- Mindstream plant KI-Campus in Jordanien mit bis zu 400 MW
- NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen
- AI inside und Hashimoto planen KI-Rechenzentrumsprojekt in Yaizu