The Pulse
Dharma-AI afferma che VocabX ha ridotto del 77% i costi del sistema di valutazione
Dharma-AI afferma che il suo metodo VocabX per il vocabolario ha ridotto del 77% i costi di inferenza misurati in un sistema di valutazione di temi in portoghese basato su Qwen3-4B. L’azienda segnala risposte più brevi e un punteggio di qua
AI.info Team · Scritto con l’IA · verificato ·
«Nel nostro sistema di valutazione, questo ha ridotto del 77% il costo di inferenza misurato, usando lo stesso modello di base e la stessa procedura di addestramento».
Bernardo França de Aguiar, Gabriel Pimenta de Freitas Cardoso, Bruno Duarte e Francisco de Almeida Rocha Alves, Dharma-AI
Dharma-AI afferma che il suo metodo VocabX ha ridotto i costi di inferenza misurati in un sistema di valutazione di temi in portoghese in produzione, basato su Qwen3-4B. Il team ha pubblicato il risultato il 21 ottobre 2026 in un post su Hugging Face che anticipa un articolo ancora in fase di revisione. Il cambiamento principale non è stato un nuovo modello di base, ma un vocabolario adattato alla lingua usata dal sistema di valutazione e al suo output JSON ricorrente.
Il vocabolario di Qwen3-4B era pensato per compiti più ampi
Il sistema di valutazione legge un tema, il relativo prompt e i testi di supporto, poi restituisce una valutazione in JSON con un voto e un commento per ogni competenza. Secondo Dharma-AI, il tokenizer originale di Qwen3-4B usato dal sistema conteneva 151.669 voci, molte delle quali erano raramente utilizzate in questo compito esclusivamente in portoghese. Il team individua due fonti di spreco: le frasi e le strutture JSON ricorrenti richiedevano più token per essere generate e il modello attribuiva un punteggio all’intero vocabolario a ogni passaggio della generazione.
VocabX modifica la tokenizzazione sia a livello di parti di parola sia a livello di più parole. Unisce frammenti di parola specifici del dominio e aggiunge token «macro» per sequenze ricorrenti, tra cui righe intere e strutture JSON. Il team afferma di selezionare i token in base al loro costo stimato di erogazione, anziché alla sola frequenza, e di controllare le dimensioni del vocabolario mediante un budget fisso per le macro. Nel sistema di valutazione, il livello di output è passato da circa 152.000 righe a circa 65.000.
Sette versioni testate sulla stessa macchina
Dharma-AI ha confrontato sette versioni del sistema di valutazione usando lo stesso modello di base, gli stessi dati, la stessa procedura di addestramento e lo stesso seme casuale. Ogni versione ha elaborato le stesse 500 richieste su una macchina con una GPU RTX 5090 e il server di inferenza vLLM; il team ha calcolato il costo in base al tempo di esecuzione misurato. La lunghezza media delle risposte è scesa da 350 a 101 token, mentre la riduzione dei costi dichiarata ha raggiunto il 77,0%.
Il team segnala anche un punteggio più alto nel benchmark, salito da 0,703 a 0,810. Il punteggio combina l’accuratezza della valutazione con quella nell’individuare i temi fuori traccia o che violano le regole. Il risultato riguarda il sistema di valutazione e la configurazione testati; il post avverte che i costi dei token generati variano in base all’hardware, alla dimensione dei batch, alla lunghezza del contesto e ad altre condizioni.
Una prima soluzione riuniva ciascun voto e la struttura JSON circostante in un unico token macro. Questa versione era più compatta, ma il suo punteggio nel benchmark è sceso a 0,689, al di sotto dello 0,703 del sistema di valutazione in produzione. Assegnare al voto un token a sé ha aggiunto due token per risposta, portato il punteggio a 0,810 e prodotto una maggiore riduzione dei costi: 77,0%, contro il 73,3% della versione che li riuniva.
I test più ampi mostrano risparmi stimati, non un secondo 77%
Il team ha confrontato VocabX anche con tre metodi di riferimento in cinque domini pubblici — contratti, articoli medici, articoli scientifici, notizie e codice Python — e tre famiglie di modelli: Qwen3, Llama-3.1 e Gemma-3. In tutte le 15 combinazioni, VocabX ha compresso il testo più del migliore tra i metodi di riferimento, con un vantaggio compreso tra 1,2 e 9,3 punti percentuali. La sua versione con vocabolario ridotto ha ottenuto anche il miglior risultato sul costo di inferenza stimato in tutti e 15 i confronti, con vantaggi medi di 10,2 punti su Qwen3, 7,5 su Llama-3.1 e 13,6 su Gemma-3.
Questi dati sui costi nei diversi domini sono stime, non il risultato basato sul tempo di esecuzione misurato nel sistema di valutazione in produzione. Il post afferma che il metodo completo, le tabelle degli esperimenti e gli interventi scartati compariranno nell’articolo, che Dharma-AI descrive come ancora in fase di revisione e soggetto a modifiche. Per ora, il risultato del 77% è legato a un solo sistema di valutazione implementato e a una specifica configurazione di test, non è una garanzia sui costi per altri modelli o carichi di lavoro.