The Pulse
Unsloth aggiorna i GGUF di Qwen3.8-27B con l’anteprima di Dynamic V3.1
Unsloth ha rilasciato versioni aggiornate delle quantizzazioni GGUF di Qwen3.8-27B, realizzate con il suo algoritmo di quantizzazione Dynamic V3.1 in anteprima. L’azienda afferma che la maggior parte dei benchmark mostra un miglioramento dell’accuratezza del 5–10% rispetto alle sue quantizzazioni precedenti, a parità di dimensioni.

Le versioni aggiornate di Qwen3.8-27B in formato GGUF sono disponibili con l’algoritmo di quantizzazione Dynamic V3.1 in anteprima di Unsloth. Nell’aggiornamento dell’11 novembre, Unsloth ha affermato che le nuove quantizzazioni migliorano l’accuratezza del 5–10% a parità di dimensioni, nella maggior parte dei benchmark, rispetto alle versioni precedenti.
Sono state aggiornate la maggior parte delle quantizzazioni da 2 bit a 6 bit. Le versioni UD3 a 3 bit restano invariate: l’azienda ha rilevato risultati paragonabili a quelli di UD3.1 e ha dichiarato che il recupero dell’accuratezza non era abbastanza significativo da giustificarne la sostituzione.
Che cosa è stato testato
Qwen3.8-27B è un modello denso con 27 miliardi di parametri, capacità visive e di ragionamento e una finestra di contesto di 256K. I GGUF aggiornati sono pensati per essere eseguiti in locale.
I test dell’azienda hanno incluso i benchmark agentici Terminal Bench 2.1 e DeepSWE v1.1, oltre a LiveCodeBench v6, GPQA Diamond, MMLU-Pro e AIME25. Per i benchmark agentici ha usato finestre di contesto di 256K, e di 128K per gli altri.
Nei confronti che includevano Exllama-v3, il layer di embedding dei token è stato escluso dall’asse orizzontale perché Exllama-v3 usa BF16 per quel layer. Nei grafici principali sono escluse le dimensioni dei layer di embedding per tutti i fornitori di quantizzazione. Unsloth afferma che includere queste dimensioni modifica i grafici quando si confrontano l’uso effettivo di RAM e disco e l’accuratezza.
In un confronto separato con le quantizzazioni GSQ-RCO di ISTA su AIME25, Unsloth afferma di aver eseguito 14 prove e di aver misurato un recupero medio dell’accuratezza compreso tra il 93% e il 96% per le quantizzazioni di ISTA. L’azienda stima che ISTA abbia eseguito una prova e afferma che le esecuzioni ripetute l’hanno portata a una conclusione diversa sul confronto tra le quantizzazioni.
Memoria e impostazioni
L’azienda indica un fabbisogno di 16–19 GB di VRAM per le sue quantizzazioni di Qwen3.8-27B a 4 bit, citando come esempi RTX 5080 e 4090; indica anche un Mac con 24 GB di RAM. La tabella dell’hardware riporta un intervallo di memoria totale di 16–19 GB per le versioni a 4 bit, considerando la RAM più la VRAM o la memoria unificata.
La stessa tabella indica 9–11 GB per le versioni a 2 bit e 12–14 GB per quelle a 3 bit, fino a 23–26 GB per quelle a 6 bit. Secondo la guida, usare MTP per velocizzare l’inferenza richiede 1–2 GB di margine aggiuntivo.
Il modello ha una finestra di contesto massima di 262.144 token, che, secondo la guida, può essere estesa a 1M tramite YaRN. Supporta anche un livello di ragionamento regolabile e un’impostazione preserve-thinking che conserva la traccia di ragionamento della conversazione precedente. Quest’ultima usa più token, ma potrebbe aumentare l’accuratezza nelle conversazioni che proseguono.
La guida indica xhigh come livello di ragionamento predefinito, insieme a medium, low e none. Le modalità con ragionamento e senza ragionamento hanno anche impostazioni di campionamento predefinite diverse.
Eseguire le quantizzazioni
I GGUF aggiornati sono disponibili nel repository di Unsloth su Hugging Face e il modello può essere eseguito in Unsloth Desktop o llama.cpp. Unsloth Desktop è disponibile per macOS, Windows e Linux; il suo hub dei modelli permette di cercare e scaricare la quantizzazione desiderata.
Le quantizzazioni includono anche il supporto al ruolo developer per strumenti agentici come Codex, MTP per velocizzare l’inferenza e modifiche all’analisi degli oggetti annidati per la chiamata degli strumenti. La guida afferma che gli utenti possono offrire Qwen3.8 tramite un’API usando il comando Unsloth e i flag di runtime di llama-server.
Fonti
Aziende in questa notizia
Notizie correlate
- QwenCloud di Alibaba apre l’accesso a Qwen4-Max-Preview fino al 25 novembre
- Tre modelli Qwen3.8 hanno inviato richieste web ad Alibaba Cloud
- Alibaba rilascia Qwen3.8-Omni-Flash con un contesto da 1 milione di token
- PrismML fa entrare un modello multimodale da 27B in 5,9 GB
- Alibaba presenta Qwen-Image-2.1-Turbo con campionamento in otto passaggi