The Pulse
Microsoft porta in locale su Copilot il suo modello MAI per il codice da 137 miliardi di parametri
Microsoft afferma che GitHub Copilot eseguirà una versione quantizzata del suo modello MAI Code 1.1 Flash da 137 miliardi di parametri su hardware locale compatibile. L’accesso sperimentale tramite Copilot è previsto nell’app, nella CLI e i
AI.info Team · Scritto con l’IA ·
Microsoft afferma di aver adattato un modello per il codice da 137 miliardi di parametri affinché funzioni sui computer locali: GitHub Copilot sarà in grado di indirizzare alcune attività di programmazione a modelli eseguiti sul dispositivo o nel cloud. L’annuncio, pubblicato il 7 ottobre, presenta MAI Code 1.1 Flash come un modello mixture-of-experts con 6,8 miliardi di parametri attivi. L’integrazione in Copilot è prevista come versione sperimentale entro la fine di ottobre.
I requisiti hardware limitano il pubblico a cui la novità si rivolge nell’immediato. Microsoft raccomanda più di 120 GB di RAM per l’uso in locale e indica come prima configurazione commercializzata un Surface Laptop Ultra dotato di NVIDIA RTX Spark e fino a 128 GB di memoria unificata. L’azienda afferma inoltre che il modello locale può essere scaricato ed eseguito in modo indipendente, senza costi per singola inferenza per le chiamate locali.
Copilot sceglierà tra locale e cloud
Microsoft prevede due modalità d’uso dei modelli locali nell’app GitHub Copilot, nella CLI e in Visual Studio Code: l’instradamento automatico dell’inferenza tra locale e cloud oppure la selezione esplicita di un modello locale. In modalità automatica, Copilot terrà conto del contesto dell’attività e del lavoro memorizzato nella cache per decidere dove inviarla. Microsoft afferma che la funzionalità è prevista entro la fine di ottobre: non è disponibile a tutti dal 7 ottobre.
«Per rendere possibile questa esperienza di sviluppo in locale, Microsoft AI ha sviluppato una versione locale di MAI Code 1.1 Flash, un modello mixture-of-experts ottimizzato per il codice con 137 miliardi di parametri totali e 6,8 miliardi di parametri attivi», scrivono Patrick Nikoletich, product manager di spicco di GitHub, e Stuart Schaefer, architetto partner per Windows Platform presso Microsoft, nell’annuncio di Microsoft.
La quantizzazione riduce il modello a 53 GB
Microsoft usa la quantizzazione e la decodifica speculativa per ridurre la memoria occupata dal modello e migliorare la velocità di risposta. Secondo l’azienda, la versione eseguita sul dispositivo occupa circa 53 GB, l’80% in meno rispetto alla corrispondente versione cloud in bfloat16, e usa una quantizzazione a precisione mista di circa 3,3 bit per peso. Con un contesto di 256.000 token, l’azienda rileva un picco di utilizzo della memoria di 75,5 GB, lasciando al sistema operativo, alle applicazioni e agli altri processi la capacità rimanente della macchina.
Nei test pubblicati da Microsoft, la versione quantizzata ottiene il 70,80% su SWE-Bench Verified, contro il 72,6% della versione di MAI Code 1.1 Flash a piena precisione, e il 66,29% su Terminal-Bench 2.1, contro il 62,9% del modello a piena precisione. I test sono stati eseguiti il 5 ottobre con un runtime llama.cpp CUDA per Windows ARM64 e la decodifica speculativa DFlash2. Microsoft avverte che i risultati effettivi variano in base al dispositivo e alla configurazione: i dati sono risultati di benchmark riportati dall’azienda, non una valutazione indipendente.
Inferenza locale non significa uso offline
La funzionalità di instradamento prevista per Copilot è progettata per mantenere disponibili i modelli cloud per le attività che ne hanno bisogno: usare l’inferenza locale, quindi, non rende offline una sessione. Microsoft distingue il luogo in cui viene eseguito un modello da ciò a cui può accedere il suo agente per il codice: le regole della sandbox disciplinano gli strumenti e i comandi dell’agente, non la posizione del modello.
L’annuncio descrive Microsoft Execution Containers come il meccanismo per limitare l’accesso a file, reti, credenziali e funzionalità di sistema. Ne precisa anche i limiti: gli strumenti integrati per i file sono controllati dall’infrastruttura dell’agente di Copilot, anziché essere isolati come processi figli del sistema operativo, e i server remoti Model Context Protocol si trovano all’esterno della sandbox del processo locale. L’offerta concreta è quindi un grande modello locale per il codice, affiancato da limiti facoltativi e configurati separatamente per le azioni dell’agente, non una sessione Copilot completamente scollegata dalla rete o isolata in modo uniforme.