The Pulse

DwarfStar aggiunge Qwen3.8 e DeepSeek V4.1 per l’esecuzione in locale

DwarfStar, il motore di inferenza locale di Salvatore Sanfilippo, ha aggiunto DeepSeek V4.1 Flash e Qwen3.8 Flash Next a metà settembre. Le sue guide indicano esigenze di memoria molto diverse: Qwen3.8 può funzionare su un Mac da 64 GB mant

AI.info Team · Scritto con l’IA · 2026-10-03

La spinta di DwarfStar a eseguire modelli a pesi aperti su macchine locali ha una precisazione: alcuni modelli supportati richiedono che i dati vengano letti progressivamente da un SSD, anziché restare interamente in memoria. Il supporto per DeepSeek V4.1 Flash è arrivato nel repository GitHub del progetto il 12 settembre 2026 per Metal di Apple, seguito un giorno dopo dall’inferenza testuale su CUDA; Qwen3.8 Flash Next, aggiunto tramite la pull request #991, è stato integrato il 14 settembre. Le stesse modifiche di metà settembre hanno ampliato il supporto per la visione e introdotto una nuova soluzione per le macchine più piccole.

DwarfStar è un motore di inferenza specifico per ciascun modello, non un sistema generico per caricare file di modelli arbitrari. Questo approccio più circoscritto gli consente di ottimizzare i percorsi dei singoli modelli, ma fa anche dipendere il supporto da formati e hardware testati.

L’aggiornamento aggiunge due percorsi per i modelli

Il nuovo supporto affronta due diverse sfide legate alla memoria. DeepSeek V4.1 Flash ha un proprio tokenizer, un proprio grafo di inferenza, file del modello e un encoder per la visione; i file creati per il precedente V4 Flash non possono sostituirli. Qwen3.8 Flash Next offre una configurazione più accessibile, con una versione Q2 progettata per funzionare su Mac con Apple Silicon e 64GB di memoria unificata. Il repository attuale del progetto elenca inoltre i modelli GLM e DeepSeek V4 PRO tra i modelli supportati.

DwarfStar è selettivo per scelta progettuale: il suo motore richiede file GGUF prodotti dal progetto, con disposizioni dei tensori e scelte di quantizzazione corrispondenti al codice specifico per ciascun modello. Il README del progetto afferma che i test coprono congiuntamente il caricamento dei modelli, la formattazione dei prompt, le chiamate agli strumenti, lo stato della cache, il server e l’agente di programmazione. Salvatore Sanfilippo, creatore di Redis noto come antirez e fondatore di DwarfStar, ha spiegato la ragione del progetto in un precedente post sul suo blog, «Qualche parola su DS4»:

«L’IA è troppo importante per essere soltanto un servizio fornito da altri.»Salvatore Sanfilippo (antirez), creatore di DwarfStar

Qwen funziona su un Mac da 64GB collocando i dati su disco

Il download di Qwen3.8 Q2 ammonta a 137,10 GiB, ma DwarfStar mantiene nella memoria unificata 41,73 GiB di pesi del modello principale e di MTP. La sua tabella n-gram BF16 da 95,37 GiB resta su un SSD locale e viene letta quando serve. La guida alla configurazione consiglia di iniziare con un contesto di 8.192 token e un blocco di prefill di 1.024 token, lasciando memoria disponibile per il contesto e i buffer necessari durante l’esecuzione.

Questa soluzione non fa entrare un file da 137 GiB in 64GB di RAM. Non coincide nemmeno con la modalità di streaming degli esperti da SSD di DwarfStar: la tabella n-gram di Qwen è una parte dell’esecuzione del modello che risiede su disco, mentre lo streaming degli esperti carica i pesi selezionati dall’instradamento in una cache di dimensioni limitate. La configurazione da 64GB è documentata per i Mac. La guida del progetto dedicata a Qwen afferma che ROCm, il parallelismo dei tensori e lo streaming degli esperti da SSD non sono ancora supportati per Qwen3.8.

DeepSeek V4.1 va oltre la memoria di una singola macchina

V4.1 Flash mostra l’estremo più impegnativo di questo compromesso. Il suo pacchetto Q2 occupa 341 GiB, di cui 152 GiB di pesi principali e 189 GiB di tabelle Engram che restano su disco. Su un singolo Mac o DGX Spark da 128GB, i pesi principali vengono letti in streaming dall’SSD; due macchine da 128GB possono suddividersi il modello Q2. Il pacchetto Q4 arriva a 483 GiB, con 294 GiB di pesi principali, e richiede lo streaming oppure un Mac da 512GB per risiedere interamente in memoria.

Il supporto varia a seconda del modello e del backend. Secondo la guida ai modelli del progetto, la visione di V4.1 funziona su Metal, mentre il supporto CUDA è limitato al testo. Lo streaming amplia ciò che una macchina può caricare, ma non elimina la necessità di riservare memoria al contesto, allo spazio di lavoro e alle altre esigenze durante l’esecuzione. La guida di DwarfStar avverte che lo streaming sacrifica velocità in cambio di capacità.

I benchmark mostrano perché la scelta del modello conta

I valori di riferimento registrati nella guida alle prestazioni del progetto riguardano DeepSeek V4 Flash Q2, non i percorsi appena aggiunti. Su un M5 Max con 128GB, l’esecuzione Q2 registrata con un contesto di 32.768 token riporta 557,04 token al secondo per il prefill del prompt e 34,36 token al secondo per la generazione. Un DGX Spark da 128GB registra 855,94 token al secondo per il prefill e 14,43 per la generazione con lo stesso contesto.

Questi dati sono valori di riferimento registrati, non nuove misurazioni di ogni modifica al software, e prefill e generazione sono riportati separatamente. Le modifiche di settembre aggiungono nuovi percorsi per i modelli, mentre le guide all’hardware mostrano che la scelta del modello, la quantizzazione, la memoria, il contesto e il comportamento dell’SSD determinano che cosa significhi «locale» per ciascuna configurazione.