Vai al contenuto
AI.info

The Pulse

Bentaus afferma che il cluster di IA riduce del 30% l’energia per token

Bentaus e DriveNets affermano che il loro cluster di IA ha ridotto del 30% il consumo energetico per token, con un calo del 3% nel throughput dei token. Il sistema combina GPU AMD, le soluzioni di rete di DriveNets e il software di gestione dell’energia di Bentaus.

Bentaus afferma che il cluster di IA riduce del 30% l’energia per token

Bentaus e DriveNets affermano che il loro cluster di IA ha ridotto del 30% il consumo energetico per token, rinunciando al 3% del throughput dei token. Le aziende affermano inoltre che Bentaus ha ridotto del 30% il consumo energetico delle GPU, mantenendo il 97% del throughput sul cluster, che utilizza GPU AMD Instinct MI325X, DriveNets AI Fabric e il software Bentaus Ziani.

Rete e gestione dei consumi

Bentaus ha installato DriveNets AI Fabric come rete di back-end per un nuovo cluster che utilizza GPU AMD Instinct MI325X. Il cluster è compatibile anche con GPU-FLX e CPU-FLX, prodotti della piattaforma Bentaus Ziani Systems, che gestisce in tempo reale la potenza di calcolo per aziende, data center e NeoCloud.

La fabric basata su Ethernet è costruita su un’architettura di riferimento progettata congiuntamente da DriveNets e AMD. Include ottimizzazioni della rete che vanno dagli switch e dalle schede di interfaccia di rete fino a RCCL e al kernel.

Nei benchmark pubblicati, l’architettura ha ottenuto un throughput superiore di circa il 5% e un tempo al primo token migliore del 12% rispetto ai risultati disponibili pubblicamente, secondo le aziende. Il tempo al primo token misura quanto occorre perché appaia il primo token.

Rispondere alla domanda della rete elettrica

Bentaus sviluppa, implementa, possiede e gestisce infrastrutture, hardware e software per l’IA. La sua piattaforma Ziani è progettata per adeguare il consumo di potenza di calcolo alle condizioni della rete elettrica.

Le aziende affermano che il software può ridurre dinamicamente il consumo energetico di GPU e CPU, mantenendo attivi i carichi di lavoro di IA. Descrivono questa possibilità come un modo per consentire ai data center di ridurre in tempo reale il proprio consumo di energia.

Presentazione in programma

DriveNets e Bentaus presenteranno la soluzione congiunta a SC26, a Chicago, in Illinois, allo stand AMD, il 19 novembre alle 11:30 ora locale. La presentazione si terrà allo stand 3028.

Fonti

Notizie correlate

Esplora

Altri articoli