Ir al contenido
AI.info

The Pulse

Lambda informa de una brecha de rendimiento de RoCE en una prueba de inferencia de IA

Lambda afirma que, cerca de la saturación del hardware, RoCE ofreció un rendimiento aproximadamente un 70 % menor que NVIDIA Quantum InfiniBand en un experimento de inferencia. La comparación utilizó configuraciones de HGX B200 de dos nodos que diferían en infraestructura de red, ubicación y ajustes.

Lambda informa de una brecha de rendimiento de RoCE en una prueba de inferencia de IA

Según Lambda, una prueba de inferencia registró un rendimiento aproximadamente un 70 % menor y un tiempo hasta el primer token 2,5 veces más lento con RoCE que con NVIDIA Quantum InfiniBand, cerca de la saturación del hardware. La comparación, publicada el 20 de noviembre, utilizó configuraciones de HGX B200 de dos nodos que diferían en la ubicación y los ajustes de red, además de en la interconexión.

La empresa afirma que la brecha de rendimiento apareció cuando la concurrencia llegó a unos 250 usuarios. Ofrece acceso a ambas configuraciones probadas: instancias bajo demanda conectadas mediante RoCE y 1-Click-Clusters con una infraestructura InfiniBand dedicada.

Cómo se realizó la prueba

Para la prueba de InfiniBand, Lambda utilizó dos nodos NVIDIA HGX B200 de 1-Click-Cluster conectados mediante switches y adaptadores NVIDIA Quantum InfiniBand. Para RoCE, utilizó dos nodos HGX B200 bajo demanda. Las instancias bajo demanda estaban en la misma región de la nube, pero no necesariamente en el mismo centro de datos.

Ambas configuraciones ejecutaron nvidia/GLM-5.2-NVFP4, una variante del modelo GLM 5.2 de Z.ai optimizada para NVIDIA Blackwell. El framework de servicio fue SGLang, con paralelismo TP16/DP16/EP16, y la herramienta de benchmarking fue AIPerf, de NVIDIA.

Cada solicitud tenía 8.192 tokens de entrada y 1.024 tokens de salida. La prueba abarcó entre 10 y 300 solicitudes concurrentes simuladas. Los servidores compartían un conjunto básico de parámetros de SGLang, incluido un máximo de 512 solicitudes en ejecución y una fracción de memoria estática de 0,70.

Los ajustes específicos de red diferían entre las configuraciones. La configuración de RoCE utilizaba RoCEv2 y tenía desactivado IBGDA en sus ajustes de NVSHMEM, mientras que la configuración de InfiniBand lo tenía activado y enumeraba un conjunto diferente de adaptadores de canal de host. Por tanto, la comparación abarca las configuraciones que ejecutó Lambda, no únicamente la infraestructura de red.

Rendimiento y latencia

Lambda atribuye la caída del rendimiento con 250 usuarios concurrentes al límite de ancho de banda del hardware de las GPU NVIDIA Blackwell. También informa de que, al disminuir el número de usuarios, con una concurrencia baja se observaron la latencia entre tokens más lenta y el menor número de tokens por segundo en general.

Distintas infraestructuras de red

RDMA over Converged Ethernet, o RoCE, incluye RoCEv1 y RoCEv2. RoCE opera en la capa 2: utiliza Ethernet y direcciones MAC para comunicarse dentro de la misma red; los nodos pueden abarcar varios switches, pero deben permanecer en la misma red base. RoCEv2 se basa en esto y añade paquetes UDP/IP, lo que permite que los nodos se comuniquen entre distintas subredes, edificios o centros de datos.

NVIDIA Quantum InfiniBand utiliza una infraestructura de red dedicada, en lugar de Ethernet/IP, y puede atravesar switches y ubicaciones. Según Lambda, para obtener el máximo rendimiento con una latencia mínima, sus switches e infraestructura deben estar instalados.

La empresa estima que la latencia habitual de InfiniBand es de entre 0,5 y 2 microsegundos, frente a aproximadamente entre 1 y 3 microsegundos para RoCE en una infraestructura local bien optimizada. Afirma que RoCE es más sensible a la configuración, la congestión y la topología. En condiciones menos favorables, la latencia puede multiplicarse varias veces y llegar potencialmente a decenas de milisegundos durante la congestión.

Fuentes

  1. Fuente original · Entrada de blog Lambda lambda.com

Noticias relacionadas

Explora

Más artículos