Vai al contenuto
AI.info

The Pulse

Lambda segnala un divario di throughput di RoCE in un test di inferenza con IA

Lambda afferma che, in un esperimento di inferenza condotto in prossimità della saturazione hardware, RoCE ha registrato un throughput inferiore di circa il 70% rispetto a NVIDIA Quantum InfiniBand. Il confronto ha utilizzato configurazioni HGX B200 a due nodi, diverse per fabric di rete, collocazione e impostazioni.

Lambda segnala un divario di throughput di RoCE in un test di inferenza con IA

Secondo Lambda, un test di inferenza ha rilevato un throughput inferiore di circa il 70% e un tempo al primo token 2,5 volte più lungo con RoCE rispetto a NVIDIA Quantum InfiniBand, in prossimità della saturazione hardware. Il confronto, pubblicato il 20 novembre, ha utilizzato configurazioni HGX B200 a due nodi che differivano per collocazione e impostazioni di rete, oltre che per interconnessione.

L’azienda afferma che il divario di throughput è emerso quando la concorrenza ha raggiunto circa 250 utenti. Offre accesso a entrambe le configurazioni testate: istanze On-Demand collegate tramite RoCE e 1-Click-Clusters con una fabric InfiniBand dedicata.

Come è stato condotto il test

Per il test InfiniBand, Lambda ha utilizzato due nodi NVIDIA HGX B200 1-Click-Cluster collegati tramite switch e adattatori NVIDIA Quantum InfiniBand. Per RoCE, ha utilizzato due nodi HGX B200 On-Demand. Le istanze On-Demand si trovavano nella stessa regione cloud, ma non necessariamente nello stesso data center.

Entrambe le configurazioni hanno eseguito nvidia/GLM-5.2-NVFP4, una variante del modello GLM 5.2 di Z.ai ottimizzata per NVIDIA Blackwell. Il framework di esecuzione era SGLang, con parallelismo TP16/DP16/EP16, mentre lo strumento di benchmark era AIPerf di NVIDIA.

Ogni richiesta conteneva 8.192 token di input e 1.024 token di output. Il test andava da 10 a 300 richieste simultanee simulate. I server condividevano un insieme di flag SGLang di base, tra cui un massimo di 512 richieste in esecuzione e una frazione di memoria statica pari a 0,70.

Le impostazioni specifiche della rete differivano tra le configurazioni. La configurazione RoCE utilizzava RoCEv2 e disabilitava IBGDA nell’impostazione NVSHMEM, mentre quella InfiniBand lo abilitava e indicava un diverso insieme di adattatori di canale host. Il confronto riguarda quindi le configurazioni utilizzate da Lambda, non soltanto la fabric di rete.

Throughput e latenza

Lambda attribuisce il calo di throughput a 250 utenti simultanei al limite della larghezza di banda hardware delle GPU NVIDIA Blackwell. Riferisce inoltre che, al diminuire del numero di utenti, con bassa concorrenza si registravano la latenza tra i token più lenta e il minor numero complessivo di token al secondo.

Fabric di rete diverse

RDMA over Converged Ethernet, o RoCE, comprende RoCEv1 e RoCEv2. RoCE opera al livello 2: utilizza Ethernet e indirizzi MAC per comunicare attraverso la stessa rete; i nodi possono passare attraverso più switch, ma devono rimanere all’interno della stessa rete di base. RoCEv2 si basa su questo protocollo aggiungendo pacchetti UDP/IP, consentendo ai nodi di comunicare attraverso subnet, edifici o data center diversi.

NVIDIA Quantum InfiniBand utilizza una fabric di rete dedicata anziché Ethernet/IP e può attraversare switch e diverse località. Per ottenere prestazioni massime con una latenza minima, i suoi switch e la sua fabric devono essere installati, secondo Lambda.

L’azienda stima una latenza tipica di InfiniBand intorno a 0,5–2 microsecondi, rispetto a circa 1–3 microsecondi per RoCE su una fabric locale ben ottimizzata. Afferma che RoCE è più sensibile alla configurazione, alla congestione e alla topologia. In condizioni meno favorevoli, la latenza può essere diverse volte superiore e arrivare potenzialmente a decine di millisecondi durante la congestione.

Fonti

  1. Fonte originale · Post del blog Lambda lambda.com

Notizie correlate

Esplora

Altri articoli