The Pulse

Foundry Local collega Qwen3.8-27B a GitHub Copilot per la programmazione in locale, afferma Microsoft

Foundry Local può eseguire Qwen3.8-27B sull’hardware degli sviluppatori e collegarlo a GitHub Copilot, mantenendo codice e contesto sul dispositivo dell’utente, afferma Microsoft. L’azienda descrive la configurazione, le ottimizzazioni per

AI.info Team · Scritto con l’IA · verificato · 2026-11-06

Foundry Local può eseguire Qwen3.8-27B sull’hardware degli sviluppatori e collegarlo a GitHub Copilot, portando la programmazione agentica in un flusso di lavoro locale, afferma Microsoft. Il blog di Microsoft Foundry ha pubblicato le istruzioni per la configurazione il 5 novembre 2026. Secondo Microsoft, l’inferenza locale mantiene codice e contesto sul dispositivo dell’utente, può continuare a funzionare offline e offre costi di inferenza prevedibili.

Collegare Foundry Local a GitHub Copilot

La configurazione usa l’opzione Bring Your Own Key di GitHub Copilot, selezionando Foundry Local come fornitore del modello. Richiede Foundry Local CLI 0.13.0 o versione successiva e una GPU NVIDIA con almeno 24 GB di VRAM. Per l’esecuzione su GPU NVIDIA, gli utenti devono installare separatamente CUDA e runtime cuDNN compatibili, che Foundry Local non scarica. Occorre inoltre configurare i percorsi delle librerie runtime, aggiungendo tra l’altro le directory DLL a PATH su Windows.

Dopo aver installato o aggiornato la CLI, gli utenti possono verificarne la versione, caricare Qwen3.8-27B e ottenere l’endpoint API locale con il comando Foundry Local server status. Il caricamento del modello ne avvia il download se non è già presente sul dispositivo. Gli sviluppatori inseriscono poi l’endpoint del proprio dispositivo nelle impostazioni del fornitore del modello di GitHub Copilot, aggiungono Qwen3.8-27B da Browse Catalog e lo scelgono nel selettore dei modelli. Gli utenti devono usare l’endpoint restituito sul proprio dispositivo, anziché copiare la porta mostrata in un’immagine.

Ottimizzazioni della memoria e dell’inferenza

La quantizzazione a 4 bit di Microsoft riduce Qwen3.8-27B a circa 18 GB, rendendone possibile l’esecuzione su GPU consumer con 24 GB di VRAM e consentendo finestre di contesto fino a 64K token. Le GPU con 32 GB o più di VRAM possono supportare finestre di contesto più ampie, fino alla lunghezza massima supportata dal modello di 262K token.

Basato su ONNX Runtime, Foundry Local ottimizza la pipeline di inferenza sulle GPU Nvidia, comprese le fasi di prefill e decodifica, la gestione della memoria, l’elaborazione di contesti lunghi e le richieste concorrenti. Tra le tecniche indicate figurano la decodifica speculativa DFlash2, che usa un modello leggero per prevedere più token, le fusioni di grafi CUDA e le ottimizzazioni dei kernel calibrate per la più recente architettura GPU NVIDIA SM121.

Per ridurre la pressione sulla memoria, lo stack combina inoltre la gestione dei pesi INT4, la quantizzazione della cache KV, la condivisione della memoria degli embedding e l’offloading sulla CPU. Secondo Microsoft, un’inferenza configurabile e attenta alla memoria può bilanciare l’uso della memoria e le prestazioni su diverse configurazioni hardware. Per i lavori che coinvolgono ampi contesti di repository o più richieste, l’infrastruttura di erogazione usa il caching dei prefissi per riutilizzare il contesto già calcolato e il batching continuo per elaborare carichi di lavoro concorrenti.

Vantaggio di velocità rispetto a llama.cpp, secondo Microsoft

Microsoft ha confrontato Foundry Local con llama.cpp usando il modello Qwen3.8-27B a 4 bit su una NVIDIA GeForce RTX 5090 con 32 GB di VRAM e su una NVIDIA DGX Spark con 128 GB di memoria unificata. La valutazione ha utilizzato un dataset di issue reali di GitHub. Secondo Microsoft, Foundry Local ha raggiunto una velocità di generazione superiore a ogni lunghezza di prompt testata, con un vantaggio che aumenta oltre i 131K token.

Il blog elenca anche i punteggi di Qwen3.8-27B nei benchmark: 73,0 su Terminal Bench 2.1 per la programmazione agentica da terminale, 61,7 su SWE-bench Pro, 42,3 su NL2Repo-Bench per la generazione di codice a livello di repository e 42,2 su DeepSWE 1.1.

Modelli locali e cloud per diversi compiti di programmazione

Microsoft avverte che i modelli locali potrebbero avere capacità di ragionamento più limitate rispetto ai modelli cloud avanzati, a causa delle loro dimensioni inferiori. L’azienda descrive i modelli cloud come una scelta valida per lavori complessi che richiedono capacità di ragionamento elevate e afferma che i modelli locali possono gestire la programmazione quotidiana e sottoattività mirate, consentendo agli sviluppatori di usare entrambi i tipi di modelli in un flusso di lavoro.

Microsoft prevede di estendere il supporto di Qwen3.8-27B a più dispositivi, inclusi i Mac e le GPU AMD, aggiungere altri modelli locali ottimizzati per la programmazione e approfondire l’integrazione di Foundry Local con GitHub Copilot.