The Pulse
AutoTrust presenta JEV-27B, un modello decisionale ospitabile in proprio
AutoTrust AI ha presentato JEV-27B, un modello con licenza Apache-2.0 che combina decisioni rapide e strutturate con le capacità di ragionamento di un backbone Qwen3.8-27B. L’azienda riferisce una media dell’84,07% su sei benchmark, precisa
AI.info Team · Scritto con l’IA · verificato ·
«JEV-27B dimostra che questa capacità può funzionare su una sola GPU all’interno dell’infrastruttura del cliente, accanto a un modello di ragionamento».
Daniel Tang, amministratore delegato e cofondatore, AutoTrust AI
AutoTrust AI ha presentato JEV-27B il 28 settembre come modello a pesi aperti per flussi di lavoro degli agenti che richiedono decisioni frequenti e strutturate senza affidare ogni richiesta a un servizio ospitato. Il modello risponde a domande con un sì o un no, sceglie tra più opzioni o assegna un punteggio da zero a cinque, restituendo le probabilità delle risposte disponibili. La licenza Apache-2.0 ne consente l’hosting in proprio e il rilascio comprende i pesi del modello, un adattatore decisionale, il codice per l’addestramento e il serving e i rapporti di valutazione.
Un modello, due tipi di risposta
JEV-27B abbina un backbone Qwen3.8-27B congelato a un modulo decisionale rimovibile che contiene 108,9 milioni di parametri addestrati, circa lo 0,4% del modello. AutoTrust chiama «System 1» il percorso rapido per decisioni tipizzate e «System 2» il percorso ordinario di generazione del testo e ragionamento. Un sistema di instradamento dirige le richieste verso l’una o l’altra capacità, mentre entrambe usano lo stesso insieme di pesi.
La distinzione è importante per i team che vogliono usare un modello per classificare un ticket, segnalare un messaggio potenzialmente fraudolento o valutare una modifica al codice, e poi usare un modello linguistico per una risposta più articolata. AutoTrust afferma che l’addestramento del modulo decisionale ha richiesto circa 9,2 ore su una sola NVIDIA B200. Secondo l’azienda, disattivando quel modulo, tutti i 164 completamenti del test di programmazione HumanEval coincidevano byte per byte con quelli del modello di base.
La media dell’84,07% di AutoTrust nei benchmark
Su sei gruppi di benchmark decisionali pubblici, AutoTrust riferisce per JEV-27B una media, calcolata attribuendo lo stesso peso a ciascun gruppo, dell’84,07%. Ha sottoposto TypeSafe Jev 1.13, un modello chiuso ospitato su un servizio, agli stessi gruppi di benchmark e riferisce per Jev una media dell’83,85%: JEV-27B ha ottenuto un punteggio superiore in quattro gruppi e inferiore in due. I singoli risultati mostrano perché la media richiede un contesto: Jev ha prevalso su Kev e VitaminC, mentre JEV-27B ha prevalso su JevBench, OpenJev text, Nimble e MASSIVE-en.
Questi dati del confronto diretto provengono dai test condotti da AutoTrust, non da una valutazione indipendente. L’azienda cita anche un benchmark distinto basato su dati etichettati da esseri umani, nel quale JEV-27B ha raggiunto il 96% dell’accuratezza di Jev su domande con 16 opzioni di risposta. Questo risultato non dimostra prestazioni equivalenti in ogni attività e AutoTrust afferma che il modello riproduce alcune debolezze di Jev, tra cui difficoltà nel ragionamento in più passaggi, nell’aritmetica e con input avversari.
La velocità in locale comporta un compromesso hardware
AutoTrust riferisce una mediana di 137 millisecondi per decisione e una capacità di elaborazione di circa 130 decisioni al secondo su una sola B200. Confronta questi numeri con misurazioni di terzi dell’API ospitata di Jev, ma osserva che i test non sono direttamente comparabili in condizioni controllate: i tempi rilevati in locale escludono i ritardi di rete, mentre le misurazioni del servizio ospitato li includono e dipendono dall’hardware, dalle condizioni di erogazione del servizio e dal numero di richieste simultanee.
Secondo AutoTrust, il modello può funzionare anche su una sola H100 da 80 GB alla precisione completa bf16, sebbene con una capacità inferiore rispetto a una B300. Le dimensioni del modello decisionale e la possibilità di ospitarlo in proprio potrebbero adattarsi alle organizzazioni che devono mantenere le richieste sulla propria infrastruttura, ma il backbone da 27 miliardi di parametri richiede comunque risorse hardware considerevoli. AutoTrust consiglia di instradare le richieste in base al grado di confidenza e afferma che JEV-27B non è destinato a decisioni ad alto rischio; le sue principali affermazioni sulle prestazioni nei benchmark restano basate su confronti condotti dall’azienda, anziché su risultati di classifiche di terzi.