The Pulse

L’AISI britannico pubblica i risultati delle valutazioni attraverso EvalEval

Il UK AI Security Institute condivide risultati di valutazione verificati, metodi e informazioni sulla configurazione attraverso l’infrastruttura aperta di EvalEval.

AI.info Team · Scritto con l’IA · verificato · 2026-09-23

Il UK AI Security Institute utilizza l’infrastruttura di EvalEval per condividere apertamente i risultati delle valutazioni, dando ai ricercatori accesso a risultati verificati insieme alle informazioni sul contesto e sulla configurazione necessarie per interpretarli.

L’annuncio, pubblicato il 22 settembre 2026, segna una nuova fase nella collaborazione tra AISI e EvalEval Coalition. L’AISI rende disponibili, ove opportuno, i metodi e i risultati delle valutazioni resi pubblici attraverso le Evaluation Cards. La piattaforma aperta riunisce in una struttura comune i risultati delle valutazioni e le informazioni necessarie per interpretarli.

L’AISI ed EvalEval avevano già collaborato a una ricerca avviata durante un workshop congiunto organizzato a margine di NeurIPS 2025. Anche i riscontri dell’istituto hanno contribuito a definire lo schema Every Eval Ever, il formato di rendicontazione condiviso alla base del progetto.

«Siamo entusiasti di questa adozione e non vediamo l’ora di proseguire nella standardizzazione e nella condivisione delle valutazioni con l’AISI e altre organizzazioni che si occupano di valutazione dell’IA.»
— EvalEval Coalition, comunità di ricerca

Cinque benchmark, sei modelli di frontiera

La pubblicazione comprende risultati verificati e informazioni sul contesto e sulla configurazione per cinque benchmark utilizzati nell’esperimento principale dello studio: HealthBench, FrontierMath, Humanity’s Last Exam, SWE-Bench Pro e Terminal-Bench 2.0.

I risultati riguardano sei modelli di frontiera: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 e GPT-5.4. L’AISI condivide anche i risultati di due valutazioni correlate in ambito cyber, Cyber CTFs e The Last Ones, che utilizzano un insieme diverso e parzialmente sovrapposto di modelli.

I dati accompagnano lo studio dell’AISI, How Inference Compute Shapes Frontier LLM Evaluation. Lo studio esamina come le prestazioni nei benchmark dipendano dalle risorse di calcolo impiegate in fase di inferenza e dal protocollo utilizzato per eseguire una valutazione.

Uno degli esempi presentati nella pubblicazione riguarda Humanity’s Last Exam. Il materiale pubblicato mostra come le prestazioni cambino sia in funzione del protocollo di valutazione sia delle risorse di calcolo impiegate per l’inferenza. Quando i modelli ricevevano da un oracolo un riscontro sulla correttezza dopo ogni tentativo, continuavano a risolvere ulteriori problemi all’aumentare dell’uso di token.

Perché la configurazione della valutazione cambia il risultato

I risultati delle valutazioni sono spesso riportati in formati diversi, su piattaforme e canali differenti, talvolta senza informazioni sufficienti per riprodurli. I prompt, l’accesso agli strumenti, i budget di token, le regole sui riscontri, le procedure di assegnazione dei punteggi e la quantità di risorse di calcolo impiegate per l’inferenza possono tutti influire sul significato di un risultato misurato.

La piattaforma di EvalEval è pensata per conservare questi dettagli anziché ridurre una valutazione a un unico numero. Le Evaluation Cards combinano i metadati dei benchmark, i dati delle esecuzioni delle valutazioni e i metadati dei modelli, creando schede che aiutano gli utenti a capire se risultati apparentemente simili siano stati ottenuti in condizioni sostanzialmente diverse.

Ripetere una valutazione su larga scala può essere costoso o impossibile. I dati pubblici sulla configurazione non possono sostituire una nuova esecuzione, ma possono aiutare i ricercatori a esaminare più da vicino i singoli studi, confrontare i protocolli e capire come le scelte di configurazione possano influenzare le prestazioni riportate.

EvalEval punta a un archivio condiviso dei test sull’IA

Il progetto Every Eval Ever fornisce lo schema di rendicontazione, mentre Evaluation Cards presenta i risultati e i relativi metadati in una forma consultabile. La coalizione chiede agli sviluppatori di modelli di comunicare risultati di valutazione verificati, agli sviluppatori di valutazioni di inviare i dati dei benchmark e delle esecuzioni usando lo schema Every Eval Ever e ai ricercatori che si occupano di valutazione, governance e politiche di esplorare le schede per benchmark o modello.

Questa soluzione dà al lavoro dell’AISI un posto in una raccolta più ampia di valutazioni, anziché lasciare ogni risultato all’interno di un singolo studio o rapporto istituzionale. I ricercatori possono confrontare i risultati di un benchmark o di un modello ottenuti con configurazioni diverse ed esaminare in quali casi le differenze possano riflettere le scelte di protocollo.

Per l’AISI, la pubblicazione offre una documentazione pubblica di una selezione del lavoro di valutazione, senza sostenere che ogni metodo o risultato interno possa essere pubblicato. Secondo l’annuncio, i dati condivisi comprendono i cinque benchmark dell’esperimento principale dello studio e due valutazioni correlate in ambito cyber.

Il risultato immediato è un insieme di valutazioni di modelli di frontiera corredate dalle informazioni che consentono ad altri ricercatori e professionisti di esaminare le condizioni alla base dei punteggi. Man mano che un numero maggiore di valutatori adotterà lo schema Every Eval Ever, i confronti aperti potranno sostenere una metaricerca più ampia e affidabile, afferma EvalEval.