The Pulse
Wavel di Microsoft affronta il collo di bottiglia dei compilatori per l’IA su scala wafer
Il compilatore Wavel di Microsoft Research costruisce sequenze di esecuzione per gli acceleratori su scala wafer, affrontando le decisioni relative al posizionamento fisico, alla disposizione e all’ordine di esecuzione. Lo studio riporta mi
AI.info Team · Scritto con l’IA ·
Gli acceleratori su scala wafer concentrano enormi risorse di calcolo su un unico chip, ma i compilatori esistenti lasciano ancora irrisolte decisioni fondamentali su dove e in quale ordine eseguire le operazioni. Wavel di Microsoft Research adotta un approccio diverso: costruisce direttamente la sequenza fisica di esecuzione, anziché trattare il compito principalmente come una suddivisione del modello in partizioni logiche. Microsoft Research indica il 4 settembre 2026 come data di pubblicazione dello studio. Il lavoro figura tra le pubblicazioni di ACM SOSP 2026, tenutosi dal 29 settembre al 2 ottobre.
«Facciamo un’osservazione fondamentale: su scala wafer, la complessità principale della compilazione si sposta dalla ricerca di un piano di partizionamento logico alla costruzione di una sequenza di esecuzione che definisca il posizionamento, l’allineamento delle disposizioni e l’ordine di esecuzione».
Scrivono gli autori di Wavel nel loro studio.
Perché i piani di partizionamento lasciano questioni aperte
Nella compilazione convenzionale, un sistema può prima decidere come suddividere un modello tra i processori e poi assegnare quelle parti all’hardware. Gli autori di Wavel sostengono che questo approccio trascuri una caratteristica distintiva degli acceleratori su scala wafer: i costi di comunicazione variano notevolmente in base alla posizione fisica, mentre le possibilità di posizionamento e le sequenze di esecuzione si moltiplicano rapidamente.
Una partizione logica, quindi, non determina come debba essere eseguito un carico di lavoro. Il compilatore deve anche scegliere dove collocare ogni operazione, allineare le disposizioni sull’intero dispositivo e stabilire l’ordine di esecuzione. Queste scelte fisiche incidono sulla comunicazione e sul throughput, e lo studio le presenta come la sfida centrale della compilazione.
MeshIR rende esplicita la sequenza di esecuzione
Wavel rappresenta le sequenze di esecuzione in una rappresentazione intermedia chiamata MeshIR. Costruisce le sequenze usando due operazioni che preservano la località, CUT e TUNE, poi valuta le soluzioni candidate con un modello dei costi fisici. Una selezione strutturata restringe lo spazio di ricerca: una scelta progettuale importante, perché il numero di possibili assegnazioni renderebbe altrimenti impraticabile un’esplorazione esaustiva.
L’approccio sposta il risultato prodotto dal compilatore da un piano di distribuzione ad alto livello a una descrizione concreta di come il calcolo occuperà il wafer. La sintesi della pubblicazione non presenta Wavel come un nuovo acceleratore né come un sostituto del software per l’erogazione dei modelli: il suo contributo è il sistema di compilazione che assegna i carichi di lavoro all’hardware su scala wafer.
Miglioramenti misurati e un risultato MoE basato su un modello
Sull’hardware WSE-3, secondo Microsoft, Wavel ha raggiunto un throughput medio per configurazione da 1,31 a 1,35 volte quello di WaferLLM ottimizzato da esperti. Per i modelli densi, il team riporta una velocità fino a 1,85 volte quella della baseline Full-Chip.
Lo studio indica anche, per i carichi di lavoro mixture-of-experts, una velocità pari a 2,97 volte quella della stessa baseline, ma segnala che il dato è una previsione basata sui risultati di un modello dei costi calibrato. Non viene presentato come un risultato misurato sull’hardware. La distinzione è importante: i confronti sui modelli densi sono risultati ottenuti sull’hardware, mentre il dato MoE stima le prestazioni attraverso il modello.
Una tesi sui compilatori, non sull’hardware
I risultati di Wavel mettono le decisioni del compilatore, non la progettazione di un nuovo chip, al centro del confronto delle prestazioni. Il vantaggio riportato rispetto a WaferLLM si riferisce a configurazioni ottimizzate da esperti, mentre il dato MoE, più elevato, resta una previsione. Microsoft include lo studio tra le sue pubblicazioni per ACM SOSP 2026; la conferenza si è svolta a Praga dal 29 settembre al 2 ottobre.
La tesi concreta del lavoro è che i sistemi su scala wafer abbiano bisogno di compilatori capaci di tenere conto direttamente del posizionamento fisico, della disposizione e dell’ordine di esecuzione. Le misurazioni su WSE-3 mostrano miglioramenti rispetto alle baseline indicate; la proiezione MoE non è stata confermata dallo stesso tipo di misurazione sull’hardware.