The Pulse
MeshRT di Microsoft dichiara una capacità di elaborazione fino a 56× superiore sugli acceleratori su scala wafer
Secondo un articolo di Microsoft Research, MeshRT raggiunge una capacità di elaborazione fino a 56× superiore a quella di un sistema all’avanguardia su scala wafer, con una latenza inferiore rispetto ai risultati misurati con SGLang in ista
AI.info Team · Scritto con l’IA ·
«Implementato su un acceleratore wafer-scale commerciale, MeshRT mantiene una latenza estremamente bassa e aumenta il throughput fino a 56 volte rispetto al sistema allo stato dell’arte per gli acceleratori wafer-scale».
Scrivono Congjie He e i coautori dello studio su MeshRT. «MeshRT: un runtime wafer-scale governato in fase di compilazione per un’inferenza a bassa latenza e alto throughput»
Lo studio di Microsoft Research su MeshRT riporta un aumento massimo del throughput di 56 volte nell’inferenza con modelli linguistici di grandi dimensioni su un acceleratore wafer-scale, rispetto al sistema allo stato dell’arte per questo tipo di acceleratori. Il riepilogo non indica il nome del sistema usato per il confronto né fornisce un valore assoluto in token al secondo. I ricercatori riportano anche una latenza da 4,5 a 7 volte inferiore rispetto ai risultati misurati con una singola istanza di SGLang su hardware Nvidia H200.
Lo studio figura tra le pubblicazioni dell’ACM Symposium on Operating Systems Principles (SOSP) 2026, in programma dal 29 settembre al 2 ottobre a Praga. La pagina di Microsoft Research indica il 4 settembre 2026 come data di pubblicazione del riepilogo dello studio su MeshRT e il 16 ottobre 2026 come data dell’ultima modifica. Secondo gli autori, il coordinamento durante l’esecuzione ha reso difficile ottenere da questi acceleratori di grandi dimensioni sia una bassa latenza sia un elevato throughput aggregato.
MeshRT sposta le decisioni di pianificazione nella fase di compilazione
Il batching raggruppa le richieste affinché l’hardware possa elaborarle insieme; i modelli mixture-of-experts indirizzano token diversi verso sottoinsiemi diversi del modello. Entrambe le tecniche rendono i carichi di lavoro meno prevedibili durante l’esecuzione. Secondo il riepilogo di Microsoft, i sistemi wafer-scale esistenti faticano a gestire in modo efficiente questa dinamicità, imponendo compromessi che possono limitare i modelli supportati e ridurre il throughput.
L’approccio di MeshRT consiste nel compilare gli eventi dinamici dell’inferenza in piani di esecuzione assegnati ai singoli core prima che l’esecuzione inizi. Lo studio descrive un’architettura che definisce «governo in fase di compilazione della dinamicità durante l’esecuzione», con meccanismi per un’esecuzione asincrona e decentralizzata. Spostare più decisioni fuori dal percorso di esecuzione attivo dovrebbe ridurre il sovraccarico durante l’esecuzione, senza richiedere ai sistemi di rinunciare del tutto alle tecniche dinamiche.
Il risultato dichiarato riguarda il runtime e la progettazione del sistema, non un nuovo chip wafer-scale. Microsoft afferma che l’implementazione è stata eseguita su un acceleratore wafer-scale commerciale, ma il riepilogo pubblico non identifica il modello del dispositivo né fornisce risultati dettagliati per ciascun carico di lavoro. Queste omissioni limitano ciò che si può dedurre dal solo fattore di miglioramento evidenziato.
Il confronto con H200 usa due termini di riferimento diversi
I dati sulla latenza e sul throughput contenuti nel riepilogo si riferiscono a confronti diversi. L’aumento del throughput fino a 56 volte è misurato rispetto a un sistema allo stato dell’arte per acceleratori wafer-scale, che il riepilogo non identifica per nome. La riduzione della latenza da 4,5 a 7 volte è misurata rispetto ai risultati ottenuti con una singola istanza di SGLang su una Nvidia H200; non va interpretata come un confronto sul throughput, da 4,5 a 7 volte superiore, con un cluster H200.
Gli autori riportano anche un’efficienza energetica nella fase di generazione dei token da 1,6 a 12,1 volte superiore in condizioni di bassa latenza, ma questo intervallo è soggetto a una condizione: presuppone che i risultati misurati sulle GPU crescano in modo idealmente lineare fino a un cluster H200 normalizzato per area. Si tratta quindi di un confronto modellizzato, non di una misurazione diretta di MeshRT rispetto a un cluster H200 sottoposto a test fisici. La distinzione conta perché il dato più eclatante dello studio si riferisce a un sistema wafer-scale, mentre la stima dell’efficienza rispetto alle GPU dipende da un’ipotesi sul comportamento della scalabilità.
Un risultato di sistema, non una garanzia universale per l’erogazione delle richieste
MeshRT si aggiunge al lavoro di Microsoft Research sul software per l’inferenza wafer-scale, un ambito in cui il gran numero di core di elaborazione e di connessioni sul chip rende il posizionamento, la comunicazione e la pianificazione parte del problema delle prestazioni. La tesi centrale dello studio è che compilare piani per i carichi dinamici possa consentire a un runtime wafer-scale di mantenere una bassa latenza pur gestendo più richieste. È un risultato a livello di sistema, ma il riepilogo disponibile non stabilisce in che misura il miglioramento sia trasferibile ad altri chip, a modelli di dimensioni diverse o ai profili delle richieste in produzione.
Per i team che si occupano di infrastrutture, il punto utile è distinguere tra l’obiettivo su cui il risultato è stato dimostrato e la promessa più ampia: MeshRT riporta un throughput fino a 56 volte superiore rispetto a un sistema wafer-scale allo stato dell’arte, insieme a una latenza inferiore rispetto a una configurazione SGLang con una singola H200 sottoposta a misurazione. Il riepilogo non indica il nome del sistema wafer-scale usato per il confronto né fornisce un valore assoluto del throughput, e l’intervallo relativo all’efficienza energetica si basa su una scalabilità idealizzata delle GPU. Sono questi i limiti di ciò che il benchmark riportato mostra, e di ciò che non mostra.