The Pulse
Strata esegue il modello da 125 miliardi di parametri di Qwen sui PC da gaming e segnala accelerazioni su hardware selezionato
Strata afferma che il suo motore di inferenza esegue Qwen3.8-Flash-Next sui PC consumer distribuendo il lavoro tra scheda grafica, memoria di sistema e processore. La versione v0.1.43.1, pubblicata il 12 ottobre, corregge problemi della ver
AI.info Team · Scritto con l’IA ·
«Ecco perché genera rapidamente su un PC da gaming, dove un modello denso da 27B è lento, e anche perché non eguaglia il 27B nei compiti di programmazione difficili: è un modello più ampio e più veloce, non un modello denso più grande».
Niko1221, proprietario del repository di Strata, in un commento alla issue #1422 su GitHub, 8 ottobre 2026
Niko1221 ha fatto il confronto rispondendo a un utente che parlava di Qwen3.8-Flash-Next e di un modello denso da 27 miliardi di parametri. Il repository di Strata descrive il motore come un modo per eseguire il modello Qwen da 125 miliardi di parametri su PC Windows o Linux. Secondo il progetto, il modello può conversare, scrivere codice, leggere immagini e collegarsi ad applicazioni e agenti di programmazione tramite API locali.
Come Strata esegue il modello su un PC
Secondo la spiegazione di Strata, il modello ha 24.576 esperti, 10 dei quali vengono utilizzati per ogni token. Il progetto descrive una distribuzione del lavoro tra i componenti del PC: la scheda grafica conserva gli esperti usati più spesso, la RAM di sistema contiene l’insieme completo e il processore lavora sugli esperti che non si trovano sulla GPU. L’SSD contiene una tabella di ricerca. Strata descrive anche un modello ausiliario che prevede i token successivi affinché il modello più grande li verifichi, e afferma che questo approccio produce la stessa risposta da 1,6 a 1,8 volte più rapidamente.
La configurazione minima indicata dal progetto prevede una scheda grafica NVIDIA o AMD supportata con almeno 12 GB di VRAM, 32 GB di RAM e circa 80 GB di spazio libero su disco. Strata consiglia di usare un SSD. Il programma di installazione scarica il modello, di circa 70 GB, e apre un’interfaccia locale nel browser. Strata avverte che, durante il primo avvio, il PC può rallentare o smettere temporaneamente di rispondere mentre vengono caricati da 35 a 55 GB nella RAM. Gli utenti possono collegare applicazioni compatibili tramite endpoint API compatibili con OpenAI o Anthropic sul computer locale.
Le velocità pubblicate e i loro limiti
Il repository riporta 94 token al secondo per Q2_0 su un sistema con NVIDIA RTX 5070 da 12 GB di VRAM, Ryzen 5 7600 e 64 GB di RAM. Per un sistema con AMD RX 9070 XT da 16 GB di VRAM, Ryzen 9 3900X e 47 GB di RAM, indica 60 token al secondo per Q2_0. Si tratta di misurazioni effettuate dal progetto su due PC, non di risultati di benchmark indipendenti. Il repository specifica che il risultato NVIDIA per Q2_0 è stato ottenuto con la versione 0.1.36 del motore; le altre righe relative a NVIDIA usano la versione 0.1.26. Per i risultati AMD elencati non indica una versione del motore.
La pagina delle release presenta un confronto separato tra v0.1.43 e v0.1.42. Descrive i dati come risultati di test intercalati condotti dal progetto, generalmente su cinque coppie e con l’indicazione dei valori mediani. I risultati variano in base all’hardware e alle dimensioni del modello. Per esempio, le note riportano incrementi della velocità di decodifica di IQ3_XXS dal 21% al 38% su una Radeon AI PRO R9700 che utilizza la cache di una scheda da 16 GB, e dal 14% al 21% per IQ3_S su una Intel Arc Pro B70. Per contro, le note affermano che, su una RTX 5070 con Windows, la decodifica di Q2_0 e IQ3_XXS è rimasta invariata con le impostazioni predefinite.
L’ultima release è un hotfix
La pagina delle release di Strata indica v0.1.43.1 come la più recente, pubblicata il 12 ottobre 2026. La release la descrive come un hotfix per v0.1.43, che comprende correzioni per ripristinare le prestazioni di decodifica con NVIDIA su alcuni desktop Linux, risolvere i blocchi con prompt lunghi su Windows e SSD SATA e migliorare l’erogazione in batch con due schede. Secondo il progetto, nei suoi test di identità le risposte restano le stesse di v0.1.43, con un’eccezione dichiarata per i messaggi degli utenti che contengono una particolare stringa di chiamata a uno strumento.
La release v0.1.43, pubblicata l’11 ottobre, segnalava variazioni delle prestazioni su alcune configurazioni NVIDIA, AMD e Intel. Le sue note precisano anche che, in quella release, le prestazioni di decodifica predefinite di Q2_0 sulla RTX 5070 con Windows erano rimaste invariate. Il repository di Strata afferma che il motore è open source con licenza MIT, mentre alcuni componenti e tutti i file del modello hanno licenze proprie. Il progetto offre uno strumento di benchmark che esegue una serie di test sull’installazione dell’utente in circa cinque-dieci minuti.