The Pulse
Lambda relata diferença na vazão do RoCE em teste de inferência de IA
A Lambda afirma que, em um experimento de inferência perto da saturação do hardware, o RoCE apresentou vazão cerca de 70% menor que a do NVIDIA Quantum InfiniBand. A comparação usou configurações de dois nós HGX B200 que diferiam na rede, no posicionamento e nas configurações.

Um teste de inferência constatou uma vazão cerca de 70% menor e um tempo até o primeiro token 2,5 vezes maior com RoCE do que com NVIDIA Quantum InfiniBand, perto da saturação do hardware, segundo a Lambda. Publicada em 20 de novembro, a comparação usou configurações de dois nós HGX B200 que diferiam no posicionamento e nas configurações de rede, além da interconexão.
A empresa afirma que a diferença de vazão surgiu quando a concorrência chegou a cerca de 250 usuários. Ela vende acesso às duas configurações testadas: instâncias On-Demand conectadas por RoCE e 1-Click-Clusters com uma rede InfiniBand dedicada.
Como o teste foi realizado
Para o teste com InfiniBand, a Lambda usou dois nós NVIDIA HGX B200 de 1-Click-Cluster conectados por switches e adaptadores NVIDIA Quantum InfiniBand. Para o RoCE, usou dois nós HGX B200 On-Demand. As instâncias On-Demand ficavam na mesma região de nuvem, mas não necessariamente no mesmo data center.
As duas configurações serviram o nvidia/GLM-5.2-NVFP4, uma variante do modelo GLM 5.2 da Z.ai otimizada para NVIDIA Blackwell. O framework de inferência foi o SGLang, com paralelismo TP16/DP16/EP16, e a ferramenta de benchmark foi o AIPerf, da NVIDIA.
Cada solicitação tinha 8.192 tokens de entrada e 1.024 tokens de saída. O teste variou de 10 a 300 solicitações simultâneas simuladas. Os servidores compartilhavam um conjunto básico de flags do SGLang, incluindo um máximo de 512 solicitações em execução e uma fração de memória estática de 0,70.
As configurações específicas de rede diferiam entre as duas configurações. A configuração com RoCE usou RoCEv2 e desativou o IBGDA em sua configuração de NVSHMEM, enquanto a configuração com InfiniBand o ativou e listou um conjunto diferente de adaptadores de canal de host. Portanto, a comparação abrange as configurações executadas pela Lambda, e não apenas a rede.
Vazão e latência
A Lambda atribui a queda de vazão com 250 usuários simultâneos ao limite de largura de banda do hardware nas GPUs NVIDIA Blackwell. Também informa que, à medida que o número de usuários diminuía, a baixa concorrência apresentava a maior latência entre tokens e a menor taxa geral de tokens por segundo.
Redes diferentes
RDMA over Converged Ethernet, ou RoCE, inclui RoCEv1 e RoCEv2. O RoCE opera na camada 2: usa Ethernet e endereços MAC para se comunicar pela mesma rede, e os nós podem abranger vários switches, mas devem permanecer na mesma rede de base. O RoCEv2 acrescenta pacotes UDP/IP, permitindo que os nós se comuniquem entre diferentes sub-redes, edifícios ou data centers.
O NVIDIA Quantum InfiniBand usa uma rede dedicada, em vez de Ethernet/IP, e pode atravessar switches e locais. Segundo a Lambda, seus switches e sua rede precisam estar instalados para que se obtenha o máximo desempenho com latência mínima.
A empresa estima que a latência típica do InfiniBand seja de cerca de 0,5–2 microssegundos, em comparação com cerca de 1–3 microssegundos para o RoCE em uma rede local bem otimizada. Ela afirma que o RoCE é mais sensível à configuração, ao congestionamento e à topologia. Em condições menos favoráveis, a latência pode ser várias vezes maior e chegar potencialmente a dezenas de milissegundos durante congestionamentos.
Fontes
- Fonte original · Post de blog Lambda lambda.com
Notícias relacionadas
- Eole começa a revender serviços de GPU da SoftBank em parceria
- Cegedim inaugura centro de dados na França para IA e computação de alta densidade
- Mindstream planeja campus de IA de até 400 MW na Jordânia
- NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço
- AI inside e Hashimoto planejam projeto de data center de IA em Yaizu