The Pulse

Artificial Analysis pubblica Decision Index v2: il 45% dell’indice si basa su dataset privati

Artificial Analysis ha pubblicato Decision Index v2 l’8 novembre 2026, portando dal 25% al 45% la quota dell’indice basata su dataset privati. La revisione introduce un Decision Score per la correttezza e la calibrazione della confidenza e

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

Il 45% di Decision Index v2 si basa ora su dataset privati

Artificial Analysis ha pubblicato Decision Index v2 l’8 novembre 2026. Nell’indice complessivo, Drex Max v1.1 di Nace AI e GLiDE v1.2 di Fastino Labs ottengono entrambi 73 punti, mentre Mammoth 27B di Base Labs ne ottiene 72. I dataset privati rappresentano ora il 45% dell’indice, rispetto al 25% della v1. Il nuovo Decision Score premia un modello sia per la correttezza sia per la calibrazione della confidenza: ogni domanda riceve un punteggio da 0 a 100, con le risposte corrette sopra 50 e quelle sbagliate sotto 50. Nell’intera valutazione, il punteggio è pari a 50 × (1 + accuratezza − punteggio Brier). La misura calcola la media del rendimento tra diverse soglie di confidenza e non dipende dalla scelta di un’unica soglia.

AA-Paperclip misura se i modelli rispondono correttamente a tutte le 15 domande

Il nuovo benchmark AA-Paperclip pesa per il 30% dell’indice e utilizza 1.500 documenti privati, tra cui curriculum, ricevute, fatture e studi di ricerca sull’IA e sul machine learning. Per ogni documento ci sono cinque decisioni da prendere e dieci informazioni da estrarre; la metrica principale misura la quota di documenti per i quali si risponde correttamente a tutte le 15 domande. Claude Haiku 5.5 (Max) supera la prova sul 92% dei documenti e GPT-6 Luna (Max) sull’86%, mentre Drex Max v1.1 e GLiDE v1.2 sono in testa tra i modelli decisionali, con il 63% e il 62%. Per Drex Max v1.1, tutte e cinque le decisioni sono corrette sul 71% dei documenti, mentre tutte e dieci le estrazioni sono corrette sull’88%.

AA-Symmetry misura la coerenza tra domande equivalenti

AA-Symmetry pesa per il 15% dell’indice e mette alla prova i modelli con 120 domande di base in 440 varianti, che includono opzioni riordinate, etichette scambiate e domande sì/no formulate in forma negativa. I modelli di Baseten guidano il benchmark, grazie a un alto tasso di astensione; Mammoth 27B ottiene 96 punti ed Elephant 9B 93. Mammoth 27B seleziona la stessa risposta in tutte le varianti per il 99% delle domande, contro il 91% di Drex Max v1.1, l’88% di GLiDE v1.2 e il 67% di Clef.

I costi dei modelli decisionali vanno da 14 a 859 dollari per 1 milione di task

Celeris-1.1 Decision, a 14 dollari, Decider v1.2, a 68 dollari, e Drex Max v1.1, a 102 dollari, si collocano sulla frontiera di Pareto del rapporto tra Decision Index e costo; Clef costa 859 dollari per 1 milione di task. GLiDE v1.2 e Decider Flash v1.2 valutano ogni domanda in un passaggio separato e addebitano ogni volta l’input: un task di AA-Paperclip usa quindi circa 63.000 token di input, contro circa 9.000 per Drex Max v1.1. GPT-6 Luna (Max) ottiene 76 punti e costa 1.530 dollari per 1 milione di task, mentre Drex Max v1.1 ottiene 73 punti e costa 102 dollari; i rispettivi tempi per task sono di 11,34 secondi e 275 millisecondi. Celeris-1.1 Decision registra il tempo per task più basso, con 56 millisecondi, seguito da Elephant 9B con 70 millisecondi e Jev 1.14 con 92 millisecondi. Mammoth 27B ottiene un punteggio entro 4 punti da quello di GPT-6 Luna (Max) nel Decision Index ed è 118 volte più veloce.