Vai al contenuto
AI.info

The Pulse

Una scheda di valutazione sostenuta da WEKA mette in discussione l’uso delle GPU come metrica per l’inferenza dell’IA

NAND Research ha pubblicato una scheda di valutazione per misurare l’inferenza dell’IA in base al lavoro completato, anziché all’utilizzo delle GPU. WEKA, che ha sponsorizzato la ricerca, e Nebius hanno testato uno dei prodotti di WEKA confrontandolo con una configurazione basata solo su HBM.

Una scheda di valutazione sostenuta da WEKA mette in discussione l’uso delle GPU come metrica per l’inferenza dell’IA

Una nuova scheda di valutazione di NAND Research propone di giudicare i sistemi di inferenza dell’IA in base al lavoro completato, anziché a quanto sono impegnate le GPU. WEKA ha sponsorizzato la ricerca e fornito il carico di lavoro usato per testare il framework, secondo un post del suo CEO, Liran Zvibel.

Pubblicata il 16 novembre, la Inference Economics Scorecard definisce metriche e regole di test per i sistemi che eseguono modelli di IA. WEKA e il provider cloud Nebius hanno inoltre riferito di un benchmark che confronta la tecnologia di memoria di WEKA con una configurazione basata solo sulla memoria ad alta larghezza di banda delle GPU.

Perché l’utilizzo può essere fuorviante

WEKA sostiene che una GPU può restare impegnata senza far avanzare il compito di un agente di IA. Mentre un agente svolge più passaggi, rilegge il contesto delle fasi precedenti della sessione; se quel contesto è stato rimosso dalla memoria della GPU, il sistema deve ricostruirlo.

Secondo l’azienda, questa ricalcolazione può mantenere elevato l’utilizzo pur ripetendo lavoro già svolto. L’utilizzo, inoltre, non indica se le richieste siano state completate, siano scadute o abbiano dovuto essere ripetute.

La scheda di valutazione definisce nove metriche: token per watt, token per rack, costo per inferenza, goodput della GPU, tempo al primo token e latenza end-to-end, efficienza della memoria, densità operativa, concorrenza degli agenti e mantenimento del contesto.

Le sue quattro regole di test prevedono lo stesso carico di lavoro e gli stessi obiettivi di servizio per tutti i sistemi, la misurazione dell’intero stack di serving, esecuzioni di almeno otto ore e il conteggio dei soli output riusciti. Il framework prevede inoltre che gli errori siano conteggiati nel benchmark, secondo un comunicato di WEKA.

Un confronto prolungato

WEKA e Nebius hanno applicato le regole a un test su un nodo NVIDIA HGX B300 con otto GPU che eseguiva DeepSeek-V4-Pro. Ogni configurazione è stata eseguita per otto ore usando sessioni tratte da un corpus di oltre 5.000 sessioni reali di programmazione agentica; le richieste fallite e quelle scadute sono state conteggiate.

Il carico di lavoro ha mantenuto attive 512 sessioni con una concorrenza pari a 32, si legge nel rapporto sul benchmark. Una configurazione usava solo la memoria ad alta larghezza di banda, o HBM; l’altra usava WEKA NeuralMesh con Augmented Memory Grid, che aggrega lo storage NVMe di un cluster come livello condiviso per il contesto.

Nei risultati riferiti dalle aziende, la configurazione con livello condiviso ha prodotto un numero di token di output per ora-GPU 3,7 volte superiore rispetto al serving basato solo su HBM sulle stesse GPU. Tra le richieste completate con successo, il 97% ha raggiunto il primo token entro cinque secondi, contro il 44% del serving basato solo su HBM.

Secondo il rapporto sul benchmark, l’esecuzione basata solo su HBM ha registrato 533 errori, pari al 2,32% delle richieste, mentre quella con Augmented Memory Grid ne ha registrati 359, pari allo 0,64%. Entrambe le esecuzioni hanno usato lo stesso hardware e lo stesso generatore di carico di lavoro, ma la seconda ha tentato più richieste durante le finestre di test della stessa durata.

Limiti e strumenti aperti

Gli autori del benchmark spiegano che il confronto ha usato la configurazione basata solo su HBM come riferimento perché, al momento dei test, nessuna implementazione di offload su DRAM era in grado di gestire DeepSeek V4. Aggiungono che da allora altre soluzioni sono maturate.

Il CEO di WEKA, Liran Zvibel, afferma che è improbabile che un livello condiviso per il contesto modifichi molto i risultati quando le sessioni sono brevi, il contesto è ridotto o il working set entra agevolmente nella HBM. I vantaggi riportati sono emersi con sessioni lunghe, uso concorrente ed esecuzioni misurate nell’arco di ore.

WEKA ha pubblicato anche il corpus kvlab, un router di cattura e strumenti di riproduzione. L’azienda afferma che i suoi ingegneri hanno acquisito oltre 5.000 sessioni reali e più di mezzo milione di richieste registrandone la struttura, anziché il codice o il contenuto delle conversazioni.

SemiAnalysis prevede di condividere i risultati di AgentX su WEKA NeuralMesh man mano che i test procedono. Il benchmark AgentX usa le stesse tracce e lo strumento AIPerf di NVIDIA include un loader per caricarle.

Fonti

  1. WEKA
  2. WEKA
  3. PR Newswire

Notizie correlate

Esplora

Altri articoli