The Pulse

NeoSigma rileva che Jev riduce di 6,2 volte i costi di valutazione delle tracce degli agenti

Secondo NeoSigma, Jev è costato 3,23 dollari per 10.000 decisioni su 834 tracce distinte e congelate di agenti, contro 19,98 dollari per GPT-5 Mini. In una revisione umana di 100 tracce, i due modelli hanno concordato rispettivamente con 88

AI.info Team · Scritto con l’IA · verificato · 2026-09-27

«Il valore di un modello decisionale economico non sta nel sostituire ogni valutatore basato su LLM. Sta nel cambiare il modo in cui si può distribuire la capacità di valutazione.»

Kartikeya Gupta, Gauri Gupta e Ritvik Kapila, autori dell’articolo di NeoSigma

Nel confronto tra il modello decisionale Jev di TypeSafe e GPT-5 Mini di OpenAI, NeoSigma ha rilevato che Jev ha completato 10.000 decisioni su 834 tracce distinte e congelate di agenti per 3,23 dollari, contro i 19,98 dollari di GPT-5 Mini. L’azienda ha pubblicato i risultati il 26 settembre 2026, sostenendo che verdetti più rapidi e meno costosi potrebbero consentire ai team di esaminare una quota maggiore del comportamento degli agenti in produzione.

L’esperimento ha messo alla prova un compito circoscritto: decidere se un agente avesse soddisfatto la richiesta di un utente, restituendo «superato» o «non superato». NeoSigma descrive Jev come un modello progettato per prendere decisioni strutturate e restituire probabilità, anziché generare una spiegazione in forma libera che un altro sistema deve interpretare. Questa distinzione restringe il compito; non garantisce che la risposta sia corretta.

Un insieme di tracce congelate, due valutatori

NeoSigma ha messo alla prova i valutatori su 834 tracce congelate tratte dai compiti di Tau2 nei settori della vendita al dettaglio, delle compagnie aeree e delle telecomunicazioni. Le tracce provenivano da 278 compiti pubblici, ciascuno eseguito con tre seed fissi; entrambi i valutatori hanno esaminato la stessa policy dell’agente, la stessa conversazione, le stesse chiamate agli strumenti, gli stessi risultati e la stessa risposta finale. Le esecuzioni dell’agente hanno usato GPT-5.6 Terra e l’azienda afferma di aver raccolto le tracce una sola volta prima di congelarle per la valutazione.

Ciascun valutatore ha completato 10.000 decisioni valide, comprese valutazioni ripetute usate per misurare la coerenza. Per verificare l’accuratezza, un revisore che non poteva vedere i verdetti dei modelli ha assegnato etichette a un campione distinto di 100 tracce. Il revisore ne ha classificate 29 come fallimenti, fornendo un piccolo insieme di riferimento umano per il confronto.

3,23 dollari per 10.000 decisioni

Il tempo mediano di Jev per una decisione è stato di 231 millisecondi, contro i 7,8 secondi di GPT-5 Mini. Nella revisione in cieco, Jev ha concordato con le etichette umane su 88 tracce su 100; GPT-5 Mini su 85. Secondo NeoSigma, quella differenza di tre punti non era conclusiva, date le dimensioni del campione.

In quella verifica, i risultati sui fallimenti hanno favorito Jev: ne ha individuati 25 dei 29 etichettati come tali dal revisore umano, mentre GPT-5 Mini ne ha individuati 17. Ripetendo la valutazione delle stesse 100 tracce, Jev ha cambiato verdetto su tre tracce; GPT-5 Mini su 19. Rispetto alle etichette di ricompensa di Tau2 su tutte le 834 tracce, tuttavia, GPT-5 Mini ha ottenuto un risultato leggermente migliore: l’84,4% di concordanza contro l’83,5% di Jev.

Il confronto dei costi riflette i valutatori così come erano configurati nell’esperimento, compresi i token generati da GPT-5 Mini per motivare i verdetti, non soltanto i prezzi degli input dei modelli. NeoSigma stima che un milione di decisioni, alla tariffa misurata, costerebbe circa 323 dollari con Jev e 1.998 dollari con GPT-5 Mini; queste cifre più elevate sono proiezioni lineari, non esecuzioni effettuate dal team. Per 10.000 tracce esaminate per la prima volta, l’azienda indica un divario di costo previsto di 9,6 volte, in un caso in cui la cache delle esecuzioni ripetute incide meno.

Un verdetto meno costoso richiede comunque un percorso di escalation

Una traccia relativa a una compagnia aerea mostra perché confrontare l’esito finale con la richiesta iniziale può portare a valutare erroneamente un agente. Il cliente aveva dapprima chiesto di cambiare un volo, poi aveva rifiutato un upgrade da 396 dollari e aveva detto all’agente di lasciare invariata la prenotazione. Il revisore umano e Jev hanno giudicato lo scambio positivamente; GPT-5 Mini e il sistema di ricompensa di Tau2 lo hanno giudicato un fallimento.

NeoSigma raccomanda di riservare il codice ai controlli esatti, usare un modello decisionale a basso costo per domande circoscritte su un maggior numero di tracce e affidare i casi incerti o ad alto impatto a un modello più potente o a una persona. L’esperimento avvalora Jev come candidato per questo ruolo di prima valutazione, non come sostituto generale degli altri valutatori: il risultato relativo alla concordanza con il giudizio umano non era conclusivo e la sua ripetibilità del 98,99% è rimasta appena al di sotto dell’obiettivo indicativo del 99% fissato dal team.