The Pulse

PrismML fa entrare un modello multimodale da 27B in 5,9 GB

PrismML ha rilasciato Bonsai 2 27B, un modello multimodale ternario basato su Qwen3.8 27B. Secondo l’azienda, il modello conserva il 98,2% delle prestazioni aggregate nei benchmark del modello di riferimento, occupando 5,9 GB.

AI.info Team · Scritto con l’IA · verificato · 2026-09-18

PrismML ha compresso un modello multimodale da 27 miliardi di parametri in uno spazio di 5,9 GB, rilasciando il 17 settembre Bonsai 2 27B come sistema a pesi aperti per l’uso in locale. L’azienda riferisce che il suo modello ternario conserva il 98,2% delle prestazioni aggregate nei benchmark del modello a precisione piena Qwen3.8 27B su cui si basa.

Il rilascio affronta un limite hardware ben noto: un modello da 27B richiede normalmente molta più memoria di quanta ne possa offrire un tipico portatile o dispositivo mobile. La soluzione di PrismML usa pesi rappresentati come −1, 0 o +1, combinati con una scalatura FP16 per gruppi, ottenendo quello che l’azienda descrive come 1,76 bit effettivi per peso.

L’annuncio tecnico di PrismML presenta il risultato come la seconda generazione della famiglia Bonsai, dopo il rilascio di Bonsai 27B da parte dell’azienda a luglio. Il nuovo modello mantiene la stessa attenzione di fondo all’inferenza locale, ma migliora il livello di qualità dichiarato rispetto al modello di riferimento a precisione piena.

5,9 GB per un modello costruito con 27 miliardi di parametri

Bonsai 2 27B accetta sia testo sia immagini, supporta una finestra di contesto da 262.000 token ed è rilasciato con licenza Apache 2.0. La rappresentazione a basso numero di bit è applicata all’intero modello linguistico, anziché essere limitata a componenti selezionati.

La tabella dei benchmark dell’azienda attribuisce a Bonsai 2 27B un punteggio complessivo di 83,9, contro 85,4 per Qwen3.8 27B a precisione piena e 83,6 per il precedente modello di riferimento Qwen3.6 27B. I risultati riguardano l’uso di strumenti da parte di agenti, la programmazione, la capacità di seguire istruzioni, conoscenza e ragionamento, matematica e visione.

Le prestazioni variano a seconda della categoria. I test combinati di matematica producono un punteggio di 96,57, riferisce PrismML, contro 97,06 per Qwen3.8 27B. Nella programmazione il punteggio è 81,58, contro 82,17 per il modello a precisione piena, mentre nella categoria visione raggiunge 78,59 contro 81,64.

Ragionamento e visione passano all’hardware locale

Bonsai 2 27B funziona su GPU NVIDIA tramite CUDA e su dispositivi Apple tramite MLX, usando kernel personalizzati a basso numero di bit. La velocità arriva fino a 143 token al secondo su una NVIDIA GeForce RTX 5090 e a 46,8 token al secondo su un M5 Max, riferisce l’azienda.

Il rilascio comprende anche dichiarazioni sui consumi energetici. Su una RTX 4090, PrismML riferisce un consumo di 0,714 milliwattora per token, che secondo l’azienda è inferiore del 40% rispetto a quello di un modello da 8B eseguito a precisione piena. Queste cifre provengono dai test condotti dall’azienda e dipendono dall’hardware, dalle build del software, dalla lunghezza del prompt, dalle impostazioni del contesto e dalla modalità di generazione.

PrismML propone il modello per agenti di programmazione, sistemi di utilizzo del computer, analisi di documenti privati, debugging multimodale e flussi di lavoro che prevedono la chiamata di strumenti. Gli esempi dell’azienda comprendono cicli di agenti di programmazione e dimostrazioni di utilizzo del computer su una RTX 5090, ma l’annuncio non stabilisce come Bonsai 2 si collochi rispetto ai sistemi commerciali in test indipendenti su ampia scala.

I dettagli di implementazione dietro la cifra in primo piano

La cifra di 5,9 GB indica lo spazio occupato dal modello citato da PrismML, non necessariamente lo spazio totale su disco richiesto per un’installazione funzionante. Il repository della demo di Bonsai dell’azienda specifica che la configurazione predefinita scarica un pacchetto del modello PQ2_0 da 7,8 GB e un proiettore per la visione; ulteriore spazio è occupato da componenti opzionali come Open WebUI e un interprete di codice.

Il repository riporta anche un’importante condizione di compatibilità. Bonsai 2 richiede attualmente i file binari del fork di llama.cpp di PrismML, perché il modello dipende da una trasformazione di Hadamard delle attivazioni che non è ancora stata integrata nel progetto principale. La documentazione avverte che le build standard di llama.cpp potrebbero rifiutare alcuni formati di Bonsai 2 o produrre output non validi per un altro formato transitorio.

PrismML mette a disposizione le versioni GGUF e MLX tramite la sua organizzazione su Hugging Face. Il repository descrive Bonsai 2 come modello predefinito nei suoi script di configurazione, con supporto per procedure su Mac, Linux e Windows che utilizzano Metal, CUDA, Vulkan, ROCm o l’esecuzione su CPU a seconda della macchina.

Le dichiarazioni sulla compressione richiedono ancora test indipendenti

Il dato dichiarato del 98,2% di prestazioni conservate è un valore aggregato relativo alla suite di benchmark selezionata dall’azienda. È quindi utile per confrontare l’obiettivo dichiarato da PrismML con il suo modello di riferimento, ma non significa che ogni compito perda solo l’1,8% di qualità. I punteggi per categoria mostrano divari maggiori nella visione e minori nella matematica e nella programmazione.

Il risultato rimane significativo per gli sviluppatori che cercano di mantenere l’inferenza vicina all’utente. Un modello con input di immagini, contesto lungo, chiamata di strumenti e ragionamento in più passaggi può essere difficile da collocare su hardware consumer quando i suoi pesi occupano decine di gigabyte. Un modello da meno di 6 GB cambia il calcolo della memoria necessaria, anche se il pacchetto di esecuzione e i file ausiliari richiedono più spazio.

Bonsai 2 27B è già disponibile, ma la sua portata pratica dipende dall’ambiente di esecuzione personalizzato, dal formato di file scelto e dall’hardware utilizzato per eseguirlo. I dati pubblicati da PrismML attestano le dichiarazioni dell’azienda sulla compressione e sui benchmark; confronti più ampi determineranno le prestazioni del modello al di fuori di quelle condizioni controllate.