The Pulse

Epoch AI presenta un indice per misurare la capacità di inferenza

Epoch AI ha pubblicato un indice che confronta la capacità di inferenza modellata dei chip per l’IA usando parametri relativi alla memoria e alla comunicazione, oltre che alla capacità di calcolo. Il rapporto stima che, nei carichi di lavor

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

Un confronto più ampio tra chip

Epoch AI ha pubblicato un rapporto che presenta un indice volto a confrontare la capacità di inferenza dei chip per l’IA usando i limiti di memoria e comunicazione insieme alla velocità di calcolo grezza. Il rapporto, scritto da Jason Li, afferma che i confronti basati soltanto sulle operazioni in virgola mobile al secondo possono non cogliere grandi differenze nel numero di richieste che un chip può servire.

Epoch AI stima che, nei carichi di lavoro agentici modellati, un Nvidia GB300 offra circa 25 volte la capacità di inferenza per chip di un Nvidia H100, pur avendo solo 2,5 volte i FLOP a 8 bit al secondo. Il rapporto afferma che un confronto basato solo sui FLOP/s sottostimerebbe di un fattore dieci la capacità relativa del GB300, perché l’accesso alla memoria e la comunicazione tra chip possono limitare l’inferenza più della capacità di calcolo aritmetico.

L’Inference Performance Index, o IPI, misura quante richieste un chip può servire contemporaneamente a diverse velocità di output richieste. La sua prima versione si concentra sui carichi di lavoro agentici e combina le stime relative a quattro modelli rappresentativi. I punteggi sono espressi in equivalenti GB300, assegnando al GB300 un valore pari a uno; un punteggio di due significa che, secondo le stime di Epoch AI, un chip potrebbe servire contemporaneamente il doppio degli utenti o degli agenti, in media per i carichi di lavoro e le velocità richieste dall’indice.

Come viene calcolato l’indice

Epoch AI usa AISimulate di Nvidia per stimare le prestazioni in base alle operazioni dei modelli e alle caratteristiche dell’hardware. Queste includono la capacità di calcolo aritmetico, la capacità e la larghezza di banda della memoria ad alta larghezza di banda, nonché la larghezza di banda, il raggruppamento e la latenza delle interconnessioni tra chip. Le cifre risultanti sono proiezioni analitiche delle prestazioni ottimali entro i limiti hardware modellati, che il rapporto definisce stime alla velocità della luce.

L’indice considera sia il prefill, che elabora l’input, sia il decode, che genera i token di output. Epoch AI modella separatamente le due fasi e predispone un numero sufficiente di chip per il prefill, in modo da evitare che questa fase rallenti il decode, quindi calcola la capacità rispetto all’insieme dei chip per il prefill e il decode. Durante il decode, batch di richieste più grandi possono aumentare la capacità di elaborazione complessiva, riducendo al contempo la velocità di generazione per ciascuna richiesta.

Per confrontare i chip a fronte di diversi requisiti operativi, Epoch AI misura la capacità da 50 a 400 token al secondo per richiesta. Calcola l’area sotto ciascuna curva di capacità su una scala logaritmica della velocità, attribuendo lo stesso peso a ogni raddoppio della velocità di output, quindi divide l’area di ciascun chip per quella del GB300 relativa allo stesso modello. Il punteggio finale è una media semplice dei quattro rapporti specifici per ciascun modello.

Punteggi e confronti

Nei risultati riportati, GB300 NVL72 ottiene un punteggio di un equivalente GB300, contro 0,12 per H200 HGX: Epoch AI descrive il risultato come una differenza di circa otto volte nella capacità modellata per GPU. Tra i sistemi Blackwell Ultra, GB300 NVL72 ottiene un punteggio circa 1,9 volte superiore a quello di B300 HGX, che raggiunge 0,54. Il rapporto assegna a MI355X un punteggio di circa 0,55 e a VR200 un punteggio di 2,18.

Il rapporto confronta inoltre le proprie stime con i benchmark SemiAnalysis InferenceX per Kimi K3, che, secondo il rapporto, mostrano una classifica simile dell’hardware. Per il solo Kimi K3, il modello di Epoch AI prevede un vantaggio di circa 46 volte del GB300 rispetto all’H200, contro una differenza di otto volte considerando l’intero insieme di modelli. Il rapporto osserva che InferenceX attribuisce parte dei risultati più deboli di Hopper con Kimi K3 alla mancanza di ottimizzazioni software.

Limiti e aggiornamenti previsti

Epoch AI afferma che i punteggi descrivono il potenziale hardware modellato e non tengono conto delle differenze nella maturità del software, che possono influire sulla misura in cui tale potenziale viene raggiunto. Il rapporto afferma inoltre di non aver stabilito se le scelte relative alla precisione numerica preservino una qualità equivalente dei modelli e indica la media ipotizzata di tre token di output accettati per ciclo di decodifica come un’assunzione della modellazione, non come un tasso misurato per ogni modello.

Epoch AI afferma che le versioni future aggiorneranno la selezione dei carichi di lavoro e dei modelli in base ai cambiamenti della domanda di inferenza e che prevede di aggiungere modelli aperti quando le loro architetture potranno essere modellate accuratamente con AISimulate. Consiglia di confrontare i chip usando i punteggi della stessa versione dell’IPI, poiché la modifica dell’insieme dei modelli può cambiare il punteggio di un chip anche se il suo hardware rimane invariato.