The Pulse
Vals AI rileva che quattro modelli hanno mantenuto almeno l’80% dei loro punteggi con un livello di ragionamento inferiore
Al livello minimo di ragionamento, quattro modelli su sette hanno mantenuto almeno l’80% del loro punteggio nel Vals Index a metà del costo o meno. Lo studio ha anche rilevato che le impostazioni inferiori hanno talvolta eguagliato i punteg
AI.info Team · Scritto con l’IA · verificato ·
Claude Opus 5.5 ha mantenuto l’80% del suo punteggio nel Vals Index sostenendo il 16% del costo al livello minimo di ragionamento. Grok 4.7 ha mantenuto l’86% del suo punteggio allo stesso 16% del costo. Dei sette modelli testati, quattro hanno mantenuto almeno l’80% del loro punteggio a metà del costo o meno. Vals AI ha pubblicato i risultati il 3 novembre 2026.
Meno ragionamento riduce il costo più del punteggio
Lo studio confronta i livelli di ragionamento minimo e intermedio di ciascun modello con quello usato per la classifica, solitamente il più alto. Per le esecuzioni di Gemini utilizzate nella classifica non era stato impostato un livello di ragionamento, quindi Vals AI ha usato il livello alto per quel confronto. Al livello minimo, DeepSeek V4.1 Flash ha mantenuto l’89% del suo punteggio al 50% del costo, mentre GPT-6 Astra ha mantenuto l’88% al 18% del costo. GLM-5.3 ha mantenuto l’81% al 53% del costo, appena sopra la soglia della metà del costo fissata dallo studio.
Gemini 4 Argon si è comportato diversamente: al livello minimo ha mantenuto il 99% del suo punteggio, ma è costato l’84% rispetto al livello usato per la classifica. Al livello intermedio ha ottenuto un punteggio leggermente superiore a quello della classifica, con un costo pari al 78%. Considerando l’indice nel suo complesso, nessuno dei sette modelli ha eguagliato il proprio punteggio di classifica al livello minimo.
I livelli inferiori a volte eguagliano i punteggi della classifica
Su 56 confronti tra modelli e benchmark, in 22 casi un livello inferiore ha ottenuto un punteggio pari a quello del livello usato per la classifica, a un costo inferiore. Quei 22 risultati non differivano significativamente da quelli del livello usato per la classifica. Separatamente, tra tutti i livelli meno costosi testati, nessuno ha ottenuto un punteggio significativamente superiore a quello del livello usato per la classifica, mentre 33 hanno ottenuto un punteggio significativamente inferiore. I 33 risultati significativamente inferiori provenivano dall’insieme dei livelli meno costosi testati, non soltanto dai 22 casi che hanno ottenuto un punteggio pari a quello del livello usato per la classifica.
Un maggiore livello di ragionamento ha prodotto la differenza mediana più ampia in Legal Research, dove i punteggi sono saliti di 19,2 punti passando dal livello minimo a quello massimo. In Code Migration 1.1 l’aumento è stato di 15,6 punti e in Terminal-Bench 4 di 12,1. Per contro, gli aumenti mediani di Finance Agent 2.1, HLAB 1.1 ed EMB 1.1 sono stati ciascuno inferiori a sei punti.
La selezione per singolo compito è un limite massimo
Vals AI ha anche calcolato cosa accadrebbe assegnando a ogni compito il livello meno costoso tra quelli che hanno raggiunto il suo punteggio più alto. Con il senno di poi, il guadagno mediano tra i modelli è stato di 6,0 punti rispetto al livello usato per la classifica, mentre il costo mediano è stato pari al 64% di quello della classifica. Usare il livello minimo per tutti i compiti è costato il 29% rispetto al livello usato per la classifica: la selezione per singolo compito ha quindi comportato una spesa maggiore, ma ha ottenuto punteggi migliori.
Il guadagno di 6,0 punti è un limite massimo, non un risultato su cui un sistema potrebbe contare in anticipo: la selezione usa i risultati osservati per ciascun compito, mentre un sistema reale deve scegliere il livello prima di vederli. Vals AI ha eseguito i modelli su sottoinsiemi fissi che coprivano circa la metà dei compiti di ciascuno degli otto benchmark, e per la maggior parte dei benchmark è stata effettuata un’esecuzione per livello. La società osserva inoltre che la maggior parte delle esecuzioni al livello usato per la classifica risaliva a mesi precedenti rispetto a quelle degli altri livelli, quindi le modifiche apportate dai fornitori tra un’esecuzione e l’altra potrebbero influire sui confronti.
Gli otto benchmark erano Finance Agent 2.1, EMB 1.1, Terminal-Bench 4, Vibe Code Bench, Code Migration 1.1, Legal Research, HLAB 1.1 e Tax Agent Bench. Vals AI afferma che i sottoinsiemi sono stati selezionati in modo da classificare i modelli nello stesso ordine dei benchmark completi. Per la maggior parte dei modelli, i risultati al livello usato per la classifica provenivano da esecuzioni già presenti in classifica, rivalutate sui sottoinsiemi selezionati; dove non era disponibile un’esecuzione di questo tipo, la società ne ha effettuata un’altra a quel livello.
Il Vals Index combina le prestazioni agentiche dei modelli in compiti di finanza, programmazione, diritto e fiscalità, ponderate in base alla quota di ciascun settore sul prodotto interno lordo degli Stati Uniti. Vals AI calcola la sua misura del costo come media semplice dei costi degli otto benchmark, stimando il costo di Code Migration a partire dai token. Il costo per test usa i prezzi di listino.
Per valutare le differenze di punteggio, la società ha utilizzato test bootstrap appaiati, ricampionando gli stessi compiti per entrambi i livelli, e ha corretto i valori p tra i gruppi di confronto. Una differenza era considerata significativa quando il suo valore p corretto era inferiore a 0,05. Vals AI avverte che l’assenza di una differenza significativa non significa che due punteggi siano uguali: i test hanno usato circa la metà dei compiti per benchmark e potrebbero non rilevare piccole differenze. La società afferma inoltre che il calcolo per singolo compito seleziona i livelli usando i risultati di quegli stessi compiti, il che rende il guadagno riportato un limite massimo.