The Pulse
Strata porta il modello da 125 miliardi di parametri di Qwen sulle GPU da 12 GB
Strata esegue Qwen3.8-Flash-Next su una NVIDIA RTX 5070 da 12 GB distribuendo il lavoro del modello tra memoria della GPU, RAM di sistema e SSD. La versione pubblicata il 4 ottobre introduce modifiche alla decodifica e alla gestione dei pro
AI.info Team · Scritto con l’IA ·
La versione di Strata del 4 ottobre migliora velocità e gestione delle richieste simultanee
L’ultima versione di Strata, la 0.1.39, è arrivata il 4 ottobre con modifiche alla decodifica, ai prompt lunghi e alle richieste simultanee. Il motore di inferenza open source esegue Qwen3.8-Flash-Next, un modello con 125 miliardi di parametri del modello linguistico, sui PC per uso domestico; Qwen indica che 6 miliardi sono attivi per token e segnala inoltre una tabella di n-grammi da 51 miliardi di parametri e un livello di previsione multi-token da 4 miliardi di parametri. Le note di rilascio riportano un aumento del 6% nella velocità di decodifica per Q2_0 su una RTX 5070 rispetto alla versione 0.1.38: da 68,4 a 72,7 token al secondo con un prompt narrativo.
Quel benchmark non garantisce la stessa velocità per ogni configurazione da 12 GB. Secondo le note, un’ottimizzazione separata del grafo di verifica funziona solo quando tutti gli esperti di un livello entrano nella VRAM, condizione che una scheda da 12 GB non soddisfa. Il README del progetto presenta i risultati ottenuti su RTX 5070 in base alle dimensioni del modello e al contesto e precisa che la velocità varia al variare di queste impostazioni.
«L’output è identico byte per byte a quello della 0.1.38 (10/10 per tutte e quattro le quantizzazioni con una cache fissa)».
Niko1221, note di rilascio di Strata
La memoria della GPU è solo una parte della configurazione
Strata non carica tutti i pesi di Qwen nella scheda grafica. Mantiene sulla GPU i componenti e gli esperti del modello usati più spesso, conserva altri esperti nella memoria di sistema per i calcoli sulla CPU e legge dall’SSD una grande tabella di consultazione. L’approccio sfrutta la struttura mixture-of-experts di Qwen: a ogni token contribuisce solo una selezione di esperti, anziché impiegare tutti i parametri a ogni passaggio.
Il progetto indica come requisito almeno 12 GB di memoria GPU e afferma che 32 GB di RAM di sistema sono il minimo, mentre 64 GB bastano per tutte le dimensioni disponibili. Il download del modello è di circa 70 GB e il programma di installazione raccomanda all’incirca 80 GB di spazio libero su disco. Questi requisiti spostano il collo di bottiglia: una scheda grafica modesta può eseguire il modello, ma per farlo servono molta memoria di sistema e spazio di archiviazione.
Il supporto per AMD ha prestazioni diverse
Un port per ROCm separato adatta Strata alle schede AMD. La sua documentazione afferma che una modalità a memoria limitata può consentire di eseguire il modello su un PC con una GPU da 12 GB e 48 GB di memoria di sistema, mantenendo nella RAM un pool di esperti di dimensioni fisse ed espellendo gli elementi meno usati. Il benchmark pubblico, tuttavia, usa una RX 9070 XT con 16 GB di VRAM e 64 GB di RAM, non una scheda AMD da 12 GB.
Su quel sistema da 16 GB, il port riporta 14–17 token al secondo per risposte brevi nella configurazione predefinita e 11–14 token al secondo con un pool di esperti a dimensione limitata. I test usano Swift 1.5 IQ2_XS, una versione di Qwen3.8-Flash-Next sottoposta a fine-tuning, quindi non costituiscono un confronto diretto con i dati della RTX 5070. La documentazione del port descrive inoltre la modalità con pool limitato come più lenta di quella che mantiene tutti gli esperti in memoria.
L’accesso locale comporta compromessi pratici
Il vantaggio di Strata è concreto: rende disponibile un modello di grandi dimensioni tramite una configurazione locale, senza richiedere un servizio di inferenza ospitato. Secondo il suo README, Strata espone sul computer dell’utente endpoint compatibili con OpenAI e Anthropic e supporta applicazioni e agenti di programmazione in grado di connettersi a queste interfacce. La versione attuale aggiunge anche la possibilità di abilitare richieste parallele, che però restano in attesa quando gli slot configurati sono occupati.
Per una scheda NVIDIA da 12 GB, il percorso supportato dispone di un benchmark pubblicato su RTX 5070, ma non tutti i miglioramenti di velocità più rilevanti dell’ultima versione si applicano a quella capacità di memoria. Il supporto per AMD amplia la portata del progetto, ma i dati sulle prestazioni ROCm citati provengono da una scheda con più memoria. La soglia pratica per usare Strata, dunque, non dipende solo dalla GPU: conta la combinazione di VRAM, RAM di sistema, capacità di archiviazione e pazienza necessaria per un primo caricamento che può impiegare decine di gigabyte di memoria.