The Pulse
Microsoft completa il preaddestramento di MAI-Base-2, il suo modello da 2,8 bilioni di parametri
Microsoft AI afferma di aver completato il preaddestramento di MAI-Base-2, un modello a miscela di esperti con 2,8 bilioni di parametri totali, di cui 80 miliardi attivi. Secondo l’azienda, nei suoi confronti il metodo di addestramento ha r
AI.info Team · Scritto con l’IA ·
Microsoft AI afferma che MAI-Base-2 supera tutti i modelli a pesi aperti che ha testato, ma il confronto condotto dall’azienda stessa presenta un limite significativo: diversi modelli concorrenti erano disponibili solo come checkpoint successivi al postaddestramento, un fattore che, secondo Microsoft, potrebbe influire sui risultati. Il 15 ottobre l’azienda ha pubblicato un resoconto del preaddestramento del modello, descrivendo un sistema da 2,8 bilioni di parametri ancora in fase di postaddestramento.
«MAI-Base-2 supera tutti i modelli a pesi aperti che abbiamo testato nelle nostre valutazioni su dati esclusi dall’addestramento».
Microsoft AI
2,8 bilioni di parametri, 80 miliardi attivi
Secondo Microsoft, MAI-Base-2 è un modello a miscela di esperti con 2,8 bilioni di parametri totali, di cui 80 miliardi attivi. L’azienda lo ha addestrato su 16.000 GPU GB200 per 38 giorni, tra agosto e settembre 2026. Microsoft riferisce un utilizzo medio dei FLOPs del modello del 21% durante l’addestramento e un goodput dell’89%, ossia la quota di tempo in cui l’addestramento ha compiuto progressi.
La scala del modello riflette un cambiamento nell’architettura oltre che nelle dimensioni. Microsoft afferma di aver adottato una struttura a miscela di esperti in ogni livello, dopo che alcune modifiche alla sua implementazione avevano portato l’utilizzo di quei livelli dal 24% al 35%. L’azienda indica nel routing dinamico e nel sovraccarico dovuto all’aggiunta di un maggior numero di esperti più piccoli due fonti di inefficienza su cui è intervenuta.
La stima di efficienza di Microsoft dipende dal metodo di valutazione
Secondo il confronto dettagliato di Microsoft, il suo metodo di addestramento richiede una potenza di calcolo per il preaddestramento da 4,2 a 12,3 volte inferiore rispetto a DeepSeek-V4-Pro-Base per raggiungere le stesse prestazioni in quattro valutazioni su dati esclusi dall’addestramento. L’azienda riferisce inoltre un miglioramento dell’efficienza in termini di FLOPs da 6,3 a 12,7 volte rispetto a MAI-Base-1. Questi intervalli descrivono stime della potenza di calcolo ricavate dall’adattamento di leggi di scala ai dati, non indicano direttamente che MAI-Base-2 sia altrettante volte più veloce o migliore in ogni compito.
Le valutazioni riguardano testo, codice, materie STEM, matematica e risposte a domande, usando dati esclusi dall’addestramento. Microsoft afferma di aver usato i bit per byte per il testo escluso dall’addestramento, il proprio codice sorgente per i test sul codice e set commissionati dai fornitori per STEM, matematica e domande e risposte; afferma inoltre di aver verificato l’eventuale contaminazione delle valutazioni da parte dei dati di addestramento. DeepSeek-V4-Pro-Base è il modello di base di riferimento nell’analisi dell’efficienza. Per Kimi K3, Qwen3.8-2.4T-A95B e MiMo-V2.6-Pro-RL, Microsoft afferma che erano disponibili solo checkpoint successivi al postaddestramento e avverte che quest’ultimo potrebbe modificare i risultati.
Una combinazione di 50 bilioni di token include dati visivi
Microsoft afferma che la combinazione di dati usata per l’addestramento conteneva 50 bilioni di token e che il suo corpus di token di addestramento unici è cresciuto di circa il 36% rispetto a MAI-Base-1. L’azienda afferma di aver elaborato internamente i token di addestramento e di aver usato dati organici anziché ricorrere alla distillazione da altri modelli. La data limite dichiarata per le conoscenze di MAI-Base-2 è marzo 2026.
Il modello è stato preaddestrato anche su dati visivi, usando quella che Microsoft descrive come un’architettura visione-linguaggio priva di encoder. Il suo corpus visione-linguaggio contiene 4,5 bilioni di token unici; contando le ripetizioni, i dati visione-linguaggio rappresentavano il 18% della combinazione di 50 bilioni di token usata per l’addestramento. Microsoft elenca tra i compiti trattati la descrizione di immagini, la comprensione di grafici, l’individuazione di riferimenti visivi, il ragionamento spaziale, la comprensione in ambito medico e l’uso del computer.
I pesi sono destinati ai partner di Foundry
MAI-Base-2 non viene presentato come un assistente finito. Microsoft afferma che il postaddestramento è in corso e che il modello costituirà la base della sua prossima generazione di modelli. L’azienda prevede di concedere in licenza i pesi a partner fidati tramite Foundry, ma il suo articolo del 15 ottobre non indica né una data di rilascio né i prezzi.
Microsoft afferma inoltre che i preparativi per MAI-Base-3 sono già in corso. Per ora, il traguardo concreto è più circoscritto: MAI-Base-2 ha completato il preaddestramento e l’azienda ha pubblicato i dettagli della sua configurazione di addestramento e le proprie affermazioni sulle valutazioni, mentre il modello attraversa la fase di postaddestramento.