The Pulse
Magnitude presenta un motore di inferenza per agenti ottimizzato per l’hardware
Magnitude ha rilasciato un proprio motore di inferenza open source per agenti di IA locali, sostituendo il precedente backend basato su llama.cpp. L’azienda riferisce che, nei test su un M4 Pro e un Nvidia DGX Spark, la decodifica è più vel
AI.info Team · Scritto con l’IA ·
«Le sessioni sono lunghe, spesso ne vengono eseguite diverse contemporaneamente e nel frattempo si vuole comunque usare il computer per altre attività.»
Anders e Tom, nel post di lancio di Magnitude
Magnitude ha rilasciato il 30 settembre un proprio motore di inferenza open source, sostituendo il backend basato su llama.cpp nella versione 0.2.0 della sua CLI. Il progetto si rivolge agli sviluppatori che eseguono modelli locali tramite agenti per la programmazione. La sua proposta centrale è che il motore ottimizza i kernel GPU sul computer dell’utente, anziché affidarsi soltanto a kernel compilati per ampie categorie di hardware.
Il software è disponibile con licenza Apache 2.0 e supporta le GPU Apple Silicon, Nvidia e AMD, oltre ai sistemi dotati soltanto di CPU. Un’app desktop lo collega a strumenti tra cui Pi, OpenCode, Hermes e Codex; il nuovo comando magnitude serve esegue inoltre il servizio di inferenza senza aprire la finestra dell’app desktop.
I miglioramenti di Magnitude emergono da un benchmark circoscritto
Secondo Magnitude, il suo motore può eseguire i modelli aperti fino al doppio della velocità di llama.cpp. Il confronto pubblicato usa Qwen 3.6 35B A3B con quantizzazione a 4 bit, un contesto di 64.000 token e senza decodifica speculativa. Su un M4 Pro con 48GB di memoria, l’azienda ha misurato una velocità di decodifica di 57 token al secondo, contro i 30 di llama.cpp, e una velocità di elaborazione dei prompt di 507 token al secondo, contro 466.
Su un Nvidia DGX Spark, Magnitude riferisce una velocità di decodifica di 58 token al secondo contro i 49 di llama.cpp, e una velocità di elaborazione dei prompt di 2.507 token al secondo contro 2.033. L’azienda segnala anche un uso della memoria per agente inferiore del 28% sull’M4 Pro e del 27% sul DGX Spark. Si tratta di risultati ottenuti da Magnitude stessa, non di benchmark indipendenti condotti su più modelli e dispositivi.
Nella discussione sul lancio, il team ha descritto il benchmark come un compito di ripetizione di prosa: ha fornito al modello il testo di Moby-Dick fino al limite di contesto di 64K e gli ha chiesto di ripetere la sezione finale. Il team ha detto di aver cercato di mantenere comparabili le impostazioni di llama.cpp, ma di aver usato per il termine di confronto una cache chiave-valore a 16 bit, perché nei suoi test la quantizzazione della cache con chiavi a 8 bit e valori a 4 bit riduceva la velocità di decodifica di llama.cpp.
L’ottimizzazione dei kernel punta alle lunghe sessioni degli agenti
Il progetto di Magnitude è pensato per un carico di lavoro che, secondo i suoi sviluppatori, i motori di inferenza generalisti non considerano prioritario: sessioni degli agenti di lunga durata, spesso diverse contemporaneamente, su un computer che continua a essere usato per altre attività. Il motore ottimizza i parametri dei kernel sul dispositivo di destinazione e concentra i kernel scritti a mano sulle famiglie più diffuse di modelli a pesi aperti. Un’architettura ibrida di paged attention permette alle sessioni contemporanee di condividere le cache dei prefissi, mentre la memoria allocata a un agente può essere liberata alla fine della sessione.
La versione aggiunge anche il supporto a metodi di decodifica speculativa tra cui DFlash, DSpark e DFlash2. Nelle note di rilascio, Magnitude riferisce che, su Qwen 3.6 35B A3B con 65K token, la decodifica speculativa su Apple Silicon è stata più veloce del 10,7% rispetto alla decodifica ordinaria, mentre in precedenza era più lenta del 7%; su Nvidia è stata più veloce del 38,8%, contro il precedente 28,7%. La stessa versione aggiunge una modalità server per macOS, Windows e Linux.
I primi riscontri evidenziano lacune nel supporto hardware
Le reazioni al lancio mostrano perché l’affermazione principale sulla velocità deve essere accompagnata dalle condizioni del benchmark. Nella discussione, alcuni utenti hanno messo in dubbio che llama.cpp fosse il termine di confronto giusto sull’hardware Apple e hanno pubblicato risultati in cui Magnitude era più lento di altri strumenti o raggiungeva velocità inferiori nell’elaborazione dei prompt. Il team di Magnitude ha detto di prevedere un confronto più completo con i motori Apple basati su MLX.
Il team ha inoltre riconosciuto una lacuna nell’ottimizzazione sui Mac M5, affermando che i suoi kernel non sfruttavano ancora appieno le nuove operazioni di moltiplicazione di matrici di Metal 4. Rispondendo alla segnalazione di un utente con due GPU Nvidia, ha detto che in quel momento le configurazioni multi-GPU non erano supportate e che le prestazioni potevano variare a seconda del modello e del backend.
Con il rilascio open source di Magnitude, l’ottimizzazione specifica per il dispositivo e l’esecuzione locale degli agenti si trovano in un unico pacchetto, ma il risultato più solido pubblicato finora resta il confronto di un singolo modello con llama.cpp. Per ora, stando alla discussione sul lancio del progetto, il motore gestisce un dispositivo alla volta; affermazioni più ampie dipenderanno dai risultati ottenuti con più modelli, carichi di lavoro e configurazioni hardware.