The Pulse
Vals AI colloca Claude Fable 5.2 al primo posto nel Vals Index
Vals AI ha collocato Claude Fable 5.2 di Anthropic al primo posto nel Vals Index, con un punteggio del 71,31%. Il modello si è classificato primo anche in quattro componenti dell’indice, ma ha ottenuto posizioni più basse in HLAB-Vals-1.1 e

AI.info Team · Scritto con l’IA · verificato ·
In una valutazione pubblicata il 9 novembre, Vals AI ha collocato Claude Fable 5.2 di Anthropic al primo posto nel Vals Index, con un punteggio del 71,31%. Secondo la società di benchmark, il risultato ha portato Fable davanti a Claude Sonnet 5.5, al 70,85%, e a Gemini 4 Carbon, al 70,45%.
I risultati nei benchmark
La società ha collocato Fable al primo posto tra 36 modelli nell’indice, con un costo indicato di 17,94 dollari per test. Vals AI afferma che il suo programma di benchmark valuta i modelli su attività di valore economico, tra cui compiti legati alla finanza e al software, nonché su ambiti di rischio di frontiera come la cybersecurity.
Fable si è classificato primo in quattro componenti del Vals Index: Finance Agent v2.1, con il 69,47%; Vibe Code Bench, con il 93,77%; ed EMB v1.1, con il 77,38%. Si è classificato primo a pari merito con Claude Opus 5.5 in Terminal-Bench 4.0, con entrambi i modelli al 65,15%, ha dichiarato Vals AI.
Il rapporto ha inoltre collocato Fable al primo posto tra 66 modelli in ProgramBench, dove ha ottenuto il 19,00%, davanti a Opus 5.5 con il 18,50%. In SWE-bench Multimodal si è classificato secondo tra 22 modelli con il 62,29%, dietro a Opus 5.5 con il 70,21%.
Punteggi scientifici e aree più deboli
Vals AI ha riferito che Fable si è classificato primo tra 31 modelli in BioMysteryBench, con un punteggio dell’83,70%. Si è classificato secondo tra 24 modelli nel Vals Science Index, con il 63,74%, dietro a GPT-6 Astra con il 65,09%.
I risultati sono stati più bassi in altre due misure indicate nel rapporto. Secondo Vals AI, Fable ha ottenuto il 5,00% in HLAB-Vals-1.1, al 29º posto a pari merito tra 37 modelli, e il 32,09% in Tax Agent Bench, classificandosi 27º tra 84 modelli.
Impostazione della valutazione
Vals AI ha descritto Claude Fable 5.2 come un modello di ragionamento con una finestra di contesto di 1 milione di token. La società ha indicato prezzi di 8,00 dollari per milione di token in input e 40,00 dollari per milione di token in output e ha dichiarato di aver valutato il modello con il livello di impegno High.
Il rapporto riguarda il Vals Index v2.2, le sue componenti e il Vals Science Index. Vals AI afferma di condurre le proprie valutazioni e di creare internamente molti dei suoi benchmark.
Fonte
Notizie correlate
- Anthropic rilascia Claude Fable 5.2 e Mythos 5.2 a 8/40 dollari
- Anthropic sperimenta dreaming per correggere la memoria di Claude
- Google lancia un benchmark per gli agenti che svolgono lavoro intellettuale con contenuti visivi
- Un preprint su BEAKER rileva che i modelli multimodali faticano ad ancorare le azioni al contesto nei laboratori chimici
- Thinking Machines Lab prevede di rilasciare i pesi di Inkling 2 Small, un modello da 594 miliardi di parametri, con licenza Apache 2.0