Vai al contenuto
AI.info

The Pulse

Tess-4.5 eguaglia Qwen3.8 usando il 25% di token in meno

Continuity Research afferma che Tess-4.5 ha eguagliato il modello di base nella valutazione BenchLocal dell’azienda, usando il 25% di token in meno in 150 scenari. Il rilascio dell’ottobre 2026 descrive i dati di addestramento, i test di ve

Tess-4.5 eguaglia Qwen3.8 usando il 25% di token in meno

AI.info Team · Scritto con l’IA · verificato ·

Tess-4.5 ha usato il 25% di token in meno rispetto al modello di base in 150 scenari di programmazione e ragionamento, eguagliandone il punteggio, secondo Continuity Research. Il rilascio del laboratorio, avvenuto nell’ottobre 2026, presenta il modello a pesi aperti da 27 miliardi di parametri per l’ingegneria del software e il lavoro con agenti in locale.

«Presentiamo Tess-4.5, un modello a pesi aperti da 27 miliardi di parametri per il lavoro ingegneristico reale».

— Continuity Research, sviluppatore di Tess-4.5

Realizzato tramite fine-tuning di Qwen3.8-27B, Tess-4.5 è disponibile con licenza Apache 2.0, con i pesi per Transformers, vLLM e SGLang su Hugging Face. L’azienda fornisce anche versioni GGUF e teste ausiliarie di predizione per llama.cpp.

Stessi punteggi, meno token generati

Su BenchLocal, Tess-4.5 ha superato 133 scenari su 150 con un massimo di tre tentativi e 128 al primo tentativo. Sono gli stessi risultati di Qwen3.8-27B, il modello su cui si basa. Tess ha superato 31 scenari su 40 nel pacchetto incentrato sulla CLI, uno in più del modello di base, mentre quest’ultimo ne ha superato uno in più nel pacchetto HermesAgent. Il rilascio riporta punteggi uguali negli altri sei pacchetti.

La riduzione dei token è misurata sul primo tentativo di ciascuno scenario, contando insieme ragionamento e risposte finali: 262.047 token per Tess-4.5 contro 349.009 per Qwen3.8-27B. La differenza varia a seconda del compito. Tess ha usato il 32% di token in meno su CLI-40 e il 43% in meno nell’estrazione dei dati, mentre il totale dei token per l’individuazione di bug è diminuito del 21%.

Questi dati provengono dai test BenchLocal del laboratorio, non da una valutazione indipendente. Continuity Research afferma di aver effettuato una sola esecuzione per modello, con il ragionamento attivato e la stessa infrastruttura di test; avverte che, alla temperatura selezionata, i punteggi possono variare di circa due scenari per pacchetto. Le sue note citano anche punteggi al primo tentativo ottenuti dalla comunità con Qwen3.8-27B, compresi tra 129 e 137 usando un budget di ragionamento di 64K. Il confronto dell’azienda ha usato un budget di ragionamento di 16K.

Una testa ausiliaria accelera la generazione in locale

Tess-4.5 include una testa ausiliaria per la predizione di più token, che propone diversi token da far verificare al modello principale. Nel test dell’azienda con llama.cpp, una versione quantizzata di Tess ha generato codice a 96,1 token al secondo su una NVIDIA RTX 4090, contro 48,9 senza la testa ausiliaria. Su un Apple M4 Max, le velocità corrispondenti per la generazione di codice sono state di 37,8 e 24,4 token al secondo.

Le velocità misurate dipendono dalla configurazione: il rilascio specifica pesi Q4_K_M, una testa ausiliaria Q8_0 e decodifica speculativa, con una richiesta alla volta. Riporta inoltre che i miglioramenti delle prestazioni variano a seconda del compito: sulla RTX 4090, la generazione di prosa è passata da 49 a 82 token al secondo, anziché raddoppiare.

I dati di addestramento provengono da 127 sessioni di ingegneria

Continuity Research afferma di aver addestrato Tess-4.5 su 127 sessioni di ingegneria contenenti 30.106 passaggi dell’assistente, 30.748 chiamate a strumenti di 34 tipi e 39,8 milioni di token. Afferma che nomi, organizzazioni e percorsi dei file sono stati resi casuali. Secondo i conteggi dei dati di addestramento riportati nel rilascio, il 99,5% dei passaggi dell’assistente conteneva ragionamento. Quel ragionamento è stato ricostruito in seguito da modelli aperti e verificato rispetto a ciò che era visibile in quel momento.

Il laboratorio riferisce che Tess non ha effettuato chiamate a strumenti che non le erano stati forniti in 182 risposte valutate a richieste che dichiaravano di non mettere a disposizione strumenti, inclusi i tentativi ripetuti. Continuity Research avverte che un modello con accesso ai comandi può comunque compiere un’azione dannosa e raccomanda richieste di autorizzazione, una sandbox o un container.

Pesi aperti per l’ingegneria e il lavoro con agenti

La scheda del modello attribuisce a Tess-4.5 una finestra di contesto di 262.144 token, ereditata da Qwen3.8-27B, e afferma che il modello supporta la visione grazie al modello di base. Descrive il modello come progettato per l’ingegneria del software in lingua inglese e il lavoro con agenti; le capacità di conversazione generale e scrittura creativa derivano dal modello di base e non erano al centro del fine-tuning.

Il rilascio offre agli sviluppatori che lavorano in locale un modello che possono esaminare, modificare ed eseguire sul proprio hardware, ma le affermazioni sulle prestazioni restano legate alla configurazione di test dell’azienda. Il rilascio non chiarisce come Tess-4.5 si confronti con altri modelli in valutazioni di programmazione condotte in modo indipendente, né quanto il risparmio di token si mantenga nei progetti software reali.

Fonti

Esplora

Altri articoli