The Pulse
Microsoft pubblica il modello Aion quantizzato per WebGPU
Microsoft ha pubblicato una versione WebGPU del suo modello linguistico Aion Instruct, con circa 2,29 miliardi di parametri nel modello di base. Il pacchetto, di circa 1,3 GB, può essere eseguito tramite ONNX Runtime nei browser e negli ambienti nativi.

Gli sviluppatori possono ora scaricare una versione WebGPU di circa 1,3 GB del modello linguistico Aion Instruct di Microsoft, quantizzata a partire da un modello di base con circa 2,29 miliardi di parametri. Il pacchetto è destinato ai processori grafici nei browser e negli ambienti nativi, secondo la scheda del modello pubblicata su Hugging Face dal Windows Applied Sciences Group di Microsoft.
La scheda del modello è stata pubblicata il 18 novembre. Il rilascio usa il formato ONNX e ha una licenza MIT.
Dentro il pacchetto
La versione WebGPU usa pesi INT4 ottenuti da un checkpoint addestrato con quantizzazione consapevole, con attivazioni FP16 e cache key-value. Ha una finestra di contesto di 32.768 token ed elenca inglese, tedesco, spagnolo, portoghese, italiano, francese, cinese e giapponese tra le sue lingue.
Il modello è distribuito come un unico grafo decoder ONNX che usa opset 21 e operazioni contribuite da Microsoft. La sua architettura di attenzione combina 21 livelli a finestra scorrevole, ciascuno con una finestra di 2.048, e sette livelli di attenzione completa.
I livelli lineari usano pesi simmetrici a blocchi a 4 bit, con blocchi di dimensione 32. Anche l’embedding dei token e la testa del modello linguistico con pesi condivisi usano pesi a blocchi a 4 bit, con blocchi di dimensione 64.
Eseguire il modello
L’esempio fornito usa ONNX Runtime GenAI con il provider di esecuzione WebGPU. La scheda afferma che il modello funziona con le build di ONNX Runtime che includono quel provider di esecuzione, compreso ONNX Runtime Web in un browser.
Nella configurazione fornita, la lunghezza massima del prompt e dei token generati è impostata di default su 4.096. Questo limite può essere portato fino alla finestra di contesto del modello, pari a 32.768 token, anche se la scheda osserva che ciò richiede una cache key-value preallocata più grande. L’esempio può essere eseguito anche su una CPU, omettendo le chiamate che selezionano WebGPU.
Il download include il grafo decoder, circa 1,3 GB di pesi quantizzati esterni, file di configurazione, un tokenizer e un template per la chat. Il modello quantizzato usa lo stesso template per la chat del modello di base.
Usi e limiti
Il modello di base è stato addestrato principalmente per attività testuali di uso generale, tra cui comprensione di documenti, analisi dei contenuti, risposta a domande e comprensione del linguaggio naturale. La sua scheda elenca anche riassunto, riscrittura e chat tra le attività.
Microsoft afferma che la quantizzazione può influire sulla qualità dell’output e che la qualità rispetto al modello di base bfloat16 sarà riportata sulla scheda del modello WebGPU. Nella scheda del modello di base, l’azienda avverte che il modello più piccolo può tralasciare dettagli, fornire informazioni errate o fallire in ragionamenti complessi articolati in più passaggi. La qualità dell’output può variare anche a seconda della lingua e il modello può essere vulnerabile ad attacchi avversari.
Transizione a Windows
È previsto che una versione ulteriormente ottimizzata di Aion Instruct, abbinata al modello di Microsoft per la moderazione dei contenuti, diventi il modello linguistico di piccole dimensioni del sistema operativo Windows entro la fine di gennaio 2027. La scheda del modello di base su Hugging Face descrive quel rilascio come distinto dalla versione pubblicata lì.
In un post separato per gli sviluppatori Windows, Microsoft ha dichiarato di voler iniziare a distribuire Aion Instruct sui dispositivi Windows Insider Preview il 4 dicembre, seguito da una distribuzione sui dispositivi destinati alla vendita al dettaglio nel gennaio 2027, per completare la transizione da Phi Silica. Il post afferma che le app che usano prompt fortemente personalizzati, LoRA personalizzate o, a causa di una nuova implementazione della filigrana, un’analisi personalizzata dell’output del modello richiederanno interventi durante la transizione.
Fonti
- Fonte originale Microsoft · Aion 1.0 Instruct 2.3B ONNX WebGPU huggingface.co
Altre pagine lette
- Microsoft · Aion 1.0 Instruct 2.3B huggingface.co
- Microsoft · Aion instruct local AI windows GPU devblogs.microsoft.com
Aziende in questa notizia
Notizie correlate
- Microsoft prevede di offrire i pesi dei modelli MAI su licenza tramite accordi con Frontier Company
- Microsoft rende Copilot Home disponibile a tutti mentre Autopilot viene distribuito
- Microsoft introduce controlli delle policy aziendali per gli agenti di IA
- Microsoft porterà MAI Cyber 2 Flash nei suoi prodotti per la sicurezza
- Microsoft Copilot SDK 2.0 supporta sessioni di agenti condivise