The Pulse
Lambda segnala un divario di throughput di RoCE in un test di inferenza con IA
Lambda afferma che, in un esperimento di inferenza condotto in prossimità della saturazione hardware, RoCE ha registrato un throughput inferiore di circa il 70% rispetto a NVIDIA Quantum InfiniBand. Il confronto ha utilizzato configurazioni HGX B200 a due nodi, diverse per fabric di rete, collocazione e impostazioni.

Secondo Lambda, un test di inferenza ha rilevato un throughput inferiore di circa il 70% e un tempo al primo token 2,5 volte più lungo con RoCE rispetto a NVIDIA Quantum InfiniBand, in prossimità della saturazione hardware. Il confronto, pubblicato il 20 novembre, ha utilizzato configurazioni HGX B200 a due nodi che differivano per collocazione e impostazioni di rete, oltre che per interconnessione.
L’azienda afferma che il divario di throughput è emerso quando la concorrenza ha raggiunto circa 250 utenti. Offre accesso a entrambe le configurazioni testate: istanze On-Demand collegate tramite RoCE e 1-Click-Clusters con una fabric InfiniBand dedicata.
Come è stato condotto il test
Per il test InfiniBand, Lambda ha utilizzato due nodi NVIDIA HGX B200 1-Click-Cluster collegati tramite switch e adattatori NVIDIA Quantum InfiniBand. Per RoCE, ha utilizzato due nodi HGX B200 On-Demand. Le istanze On-Demand si trovavano nella stessa regione cloud, ma non necessariamente nello stesso data center.
Entrambe le configurazioni hanno eseguito nvidia/GLM-5.2-NVFP4, una variante del modello GLM 5.2 di Z.ai ottimizzata per NVIDIA Blackwell. Il framework di esecuzione era SGLang, con parallelismo TP16/DP16/EP16, mentre lo strumento di benchmark era AIPerf di NVIDIA.
Ogni richiesta conteneva 8.192 token di input e 1.024 token di output. Il test andava da 10 a 300 richieste simultanee simulate. I server condividevano un insieme di flag SGLang di base, tra cui un massimo di 512 richieste in esecuzione e una frazione di memoria statica pari a 0,70.
Le impostazioni specifiche della rete differivano tra le configurazioni. La configurazione RoCE utilizzava RoCEv2 e disabilitava IBGDA nell’impostazione NVSHMEM, mentre quella InfiniBand lo abilitava e indicava un diverso insieme di adattatori di canale host. Il confronto riguarda quindi le configurazioni utilizzate da Lambda, non soltanto la fabric di rete.
Throughput e latenza
Lambda attribuisce il calo di throughput a 250 utenti simultanei al limite della larghezza di banda hardware delle GPU NVIDIA Blackwell. Riferisce inoltre che, al diminuire del numero di utenti, con bassa concorrenza si registravano la latenza tra i token più lenta e il minor numero complessivo di token al secondo.
Fabric di rete diverse
RDMA over Converged Ethernet, o RoCE, comprende RoCEv1 e RoCEv2. RoCE opera al livello 2: utilizza Ethernet e indirizzi MAC per comunicare attraverso la stessa rete; i nodi possono passare attraverso più switch, ma devono rimanere all’interno della stessa rete di base. RoCEv2 si basa su questo protocollo aggiungendo pacchetti UDP/IP, consentendo ai nodi di comunicare attraverso subnet, edifici o data center diversi.
NVIDIA Quantum InfiniBand utilizza una fabric di rete dedicata anziché Ethernet/IP e può attraversare switch e diverse località. Per ottenere prestazioni massime con una latenza minima, i suoi switch e la sua fabric devono essere installati, secondo Lambda.
L’azienda stima una latenza tipica di InfiniBand intorno a 0,5–2 microsecondi, rispetto a circa 1–3 microsecondi per RoCE su una fabric locale ben ottimizzata. Afferma che RoCE è più sensibile alla configurazione, alla congestione e alla topologia. In condizioni meno favorevoli, la latenza può essere diverse volte superiore e arrivare potenzialmente a decine di millisecondi durante la congestione.
Fonti
- Fonte originale · Post del blog Lambda lambda.com
Notizie correlate
- Lambda collega oltre 10.000 GPU con switch fotonici
- Lambda punta a raccogliere fino a 4 miliardi di dollari prima della prevista IPO nel 2027
- Le partecipazioni di Nvidia in società private raggiungono i 65,5 miliardi di dollari, riferisce TechCrunch
- NVIDIA segnala i progressi di Vera Rubin al debutto in MLPerf Training
- Cerebras registra una crescita del 55% dei ricavi nel terzo trimestre e alza le previsioni