The Pulse
Apple esegue Muse Spark Open di Meta, da 816 miliardi di parametri, su quattro Mac Studio
Apple afferma che l’ultima versione di MLX esegue Muse Spark Open di Meta, un modello da 816 miliardi di parametri, su quattro Mac Studio con chip M5 Ultra, generando 36,73 token al secondo. Il benchmark dell’azienda mostra come RDMA su Thu
AI.info Team · Scritto con l’IA ·
«Su un cluster di quattro Mac Studio, Muse Spark Open genera oltre 36 token al secondo».
Apple Machine Learning Research
Quattro Mac Studio eseguono un modello da 816 miliardi di parametri
Il team Machine Learning Research di Apple ha pubblicato il benchmark il 15 ottobre, insieme a una nuova versione di MLX, il suo framework open source per il machine learning su chip Apple. La dimostrazione esegue Muse Spark Open, un modello da 816 miliardi di parametri, su quattro Mac Studio dotati di chip M5 Ultra. Apple riporta una velocità di generazione del testo di 36,73 token al secondo con un contesto di 8.192 token.
Il risultato supera un limite hardware fondamentale: un modello di queste dimensioni non entra nella memoria di un solo Mac Studio. Secondo Apple, un singolo M5 Ultra può avere fino a 512 GB di memoria unificata, mentre nel benchmark il modello è distribuito su più computer. L’azienda valuta il modello con precisione NVFP4, un dettaglio importante per interpretare i dati sulle dimensioni e sulla velocità.
I dati provengono da un benchmark condotto da Apple, non da un confronto indipendente. Il post misura la velocità di decodifica dopo un contesto di 8.192 token e riporta i risultati su 128 token generati. Per Muse Spark Open, Apple non fornisce un valore di riferimento su un singolo Mac perché il modello non entra nella memoria di una sola macchina.
Il parallelismo tensoriale aumenta la velocità di decodifica
Il benchmark confronta due modi di suddividere il lavoro. Il parallelismo a pipeline assegna livelli diversi a Mac diversi, così un sistema passa il proprio output al successivo. Il parallelismo tensoriale suddivide invece il calcolo all’interno dei livelli tra le macchine, consentendo loro di elaborare insieme ogni token, ma richiedendo frequenti scambi di dati.
Per Muse Spark Open, Apple riporta 15,74 token al secondo con due Mac in parallelismo a pipeline, 24,99 con due Mac in parallelismo tensoriale e 36,73 con quattro Mac in parallelismo tensoriale. Il risultato con quattro Mac è più del doppio di quello ottenuto con due Mac in parallelismo a pipeline, ma non è un confronto con un’esecuzione su un singolo Mac: nell’analisi dell’aumento di velocità, Apple usa come riferimento per questo modello la configurazione a due Mac in parallelismo a pipeline.
La stessa tabella riporta risultati su una singola macchina per due modelli più piccoli. Con lo stesso contesto di 8.192 token, quattro sistemi M5 Ultra generano testo con Mistral Medium 3.5 a 23,37 token al secondo, contro 7,70 su un solo sistema. Qwen 3.8 raggiunge 50,89 token al secondo su quattro sistemi, contro 19,69 su uno.
RDMA su Thunderbolt gestisce gli scambi
Apple attribuisce la bassa latenza delle comunicazioni nel cluster a RDMA su Thunderbolt 5. MLX usa il backend di comunicazione JACCL per le operazioni collettive tra macchine. Nella configurazione del benchmark, ogni coppia di Mac Studio è collegata con due cavi Thunderbolt per aumentare la larghezza di banda del collegamento.
Il collegamento è particolarmente importante per il parallelismo tensoriale, che richiede ai dispositivi di scambiare ripetutamente informazioni mentre elaborano ciascun token. Secondo Apple, il costo di questi scambi può annullare parte dei vantaggi: con contesti molto lunghi, durante l’elaborazione del prompt il parallelismo tensoriale su due macchine è più lento del parallelismo a pipeline su due macchine per Muse Spark Open. Con quattro sistemi M5 Ultra, afferma l’azienda, il parallelismo tensoriale offre un vantaggio nella decodifica anche con il contesto più lungo.
MLX può rendere il modello disponibile agli strumenti locali
Il post di Apple mostra anche come eseguire Muse Spark Open tramite l’interfaccia server di MLX e poi collegarlo a OpenCode come provider locale di modelli. Per gli sviluppatori, è un modo per passare dal benchmark a una configurazione per la programmazione con agenti, con l’inferenza eseguita sul proprio cluster di Mac anziché tramite un endpoint di modello remoto.
La nuova versione permette di eseguire un modello di grandi dimensioni su un cluster che sta su una scrivania, ma la velocità riportata è una misurazione specifica del produttore, ottenuta con una configurazione definita, non una promessa generale sui tempi di risposta per attività, contesti o software diversi. Il risultato più preciso di Apple è più circoscritto: quattro Mac Studio con chip M5 Ultra, usando il parallelismo tensoriale su RDMA tramite Thunderbolt, decodificano Muse Spark Open a 36,73 token al secondo con un contesto di 8.192 token.