The Pulse
Bentaus afferma che il cluster di IA riduce del 30% l’energia per token
Bentaus e DriveNets affermano che il loro cluster di IA ha ridotto del 30% il consumo energetico per token, con un calo del 3% nel throughput dei token. Il sistema combina GPU AMD, le soluzioni di rete di DriveNets e il software di gestione dell’energia di Bentaus.

Bentaus e DriveNets affermano che il loro cluster di IA ha ridotto del 30% il consumo energetico per token, rinunciando al 3% del throughput dei token. Le aziende affermano inoltre che Bentaus ha ridotto del 30% il consumo energetico delle GPU, mantenendo il 97% del throughput sul cluster, che utilizza GPU AMD Instinct MI325X, DriveNets AI Fabric e il software Bentaus Ziani.
Rete e gestione dei consumi
Bentaus ha installato DriveNets AI Fabric come rete di back-end per un nuovo cluster che utilizza GPU AMD Instinct MI325X. Il cluster è compatibile anche con GPU-FLX e CPU-FLX, prodotti della piattaforma Bentaus Ziani Systems, che gestisce in tempo reale la potenza di calcolo per aziende, data center e NeoCloud.
La fabric basata su Ethernet è costruita su un’architettura di riferimento progettata congiuntamente da DriveNets e AMD. Include ottimizzazioni della rete che vanno dagli switch e dalle schede di interfaccia di rete fino a RCCL e al kernel.
Nei benchmark pubblicati, l’architettura ha ottenuto un throughput superiore di circa il 5% e un tempo al primo token migliore del 12% rispetto ai risultati disponibili pubblicamente, secondo le aziende. Il tempo al primo token misura quanto occorre perché appaia il primo token.
Rispondere alla domanda della rete elettrica
Bentaus sviluppa, implementa, possiede e gestisce infrastrutture, hardware e software per l’IA. La sua piattaforma Ziani è progettata per adeguare il consumo di potenza di calcolo alle condizioni della rete elettrica.
Le aziende affermano che il software può ridurre dinamicamente il consumo energetico di GPU e CPU, mantenendo attivi i carichi di lavoro di IA. Descrivono questa possibilità come un modo per consentire ai data center di ridurre in tempo reale il proprio consumo di energia.
Presentazione in programma
DriveNets e Bentaus presenteranno la soluzione congiunta a SC26, a Chicago, in Illinois, allo stand AMD, il 19 novembre alle 11:30 ora locale. La presentazione si terrà allo stand 3028.
Fonti
Notizie correlate
- Digi Power X afferma che i ricavi trimestrali dell’IA sono aumentati di oltre il 400%
- Marvell prevede dimostrazioni su memoria IA e networking a SC26
- CoreWeave prevede circa 9 miliardi di dollari in anticipi e depositi dei clienti
- Armada e Johnson Controls avviano a Dublino la produzione di data center
- Meta: l’allocazione della capacità di calcolo ha migliorato il ranking degli annunci di circa il 10%, oltre ai progressi di modelli e sistemi