The Pulse

Epoch AI giudica problematici 9 benchmark di IA su 15

Epoch AI ha esaminato 15 benchmark di IA esterni e ha riscontrato problemi sostanziali in nove di essi. La sua analisi segnala errori nell’assegnazione dei punteggi, configurazioni di valutazione inadeguate, versioni incoerenti e condizioni

AI.info Team · Scritto con l’IA · verificato · 2026-09-18

Epoch AI ha classificato come problematici nove dei 15 benchmark di IA esterni che ha esaminato, portando alla luce debolezze sostanziali in diversi test ampiamente utilizzati per misurare le capacità dei modelli. L’elenco delle valutazioni, aggiornato al 12 settembre, comprende SWE-bench Verified, Humanity’s Last Exam, Terminal-Bench 4.0.0, DeepSWE v1.1 e Berkeley Function Calling Leaderboard v4.

Il risultato non significa che ogni punteggio ottenuto con quei benchmark sia privo di valore. Epoch definisce problematico un benchmark che presenta almeno un difetto grave tale da incidere sul modo in cui i risultati dovrebbero essere interpretati. Le sue valutazioni riguardano versioni specifiche dei benchmark e una versione successiva può essere valutata separatamente se gli sviluppatori correggono i problemi.

Epoch ha pubblicato il proprio quadro di valutazione e i risultati nella Benchmark Reviews Documentation. Il gruppo iniziale contiene quattro benchmark classificati come verificati, nove come problematici e due come privi di informazioni sufficienti.

Quindici valutazioni, nove giudizi negativi

Il gruppo dei benchmark problematici copre l’ingegneria del software, la salute, le conoscenze generali, la scrittura e l’uso di strumenti. Epoch ha classificato come problematici Berkeley Function Calling Leaderboard v4 e HealthBench Professional il 10 settembre, seguiti da DeepSWE v1.1 il 7 settembre e Terminal-Bench 4.0.0 il 4 settembre.

Valutazioni precedenti avevano segnalato problemi in SWE-bench Verified e SWE-Bench Pro, due importanti test delle prestazioni nell’ingegneria del software. Anche Humanity’s Last Exam, Lech Mazur Writing e TextQuests hanno ricevuto un giudizio di problematicità. I due restanti benchmark, CritPt e FrontierCode, non sono stati giudicati perché Epoch ha dichiarato di non disporre di informazioni sufficienti per classificarli come verificati o problematici.

Quattro benchmark hanno superato lo standard minimo dell’organizzazione: ExploitBench v0.1, SimpleQA Verified, PostTrainBench v1.1 e WeirdML v2. La tabella pubblicata da Epoch riporta le date e i giudizi delle valutazioni per tutti i 15 benchmark.

Che cosa considera Epoch un difetto grave

I criteri di Epoch distinguono tra la possibilità di esaminare un benchmark e la capacità del suo sistema di punteggio di produrre un risultato significativo. Una valutazione può procedere quando tutti i compiti e la logica di assegnazione dei punteggi sono disponibili, oppure quando è possibile esaminare un campione rappresentativo e le impostazioni di valutazione sono rese interamente note. Se queste condizioni non sono soddisfatte, il benchmark riceve un giudizio di informazioni insufficienti anziché un giudizio di qualità.

Per i benchmark che possono essere esaminati, Epoch cerca errori che alterino i punteggi o compromettano la misurazione della capacità dichiarata. Tra gli esempi figurano compiti a cui è impossibile rispondere così come sono formulati, sistemi di assegnazione dei punteggi troppo rigidi o errati che producono falsi negativi, criteri di punteggio troppo permissivi che consentono il reward hacking e scorciatoie che permettono a un modello di recuperare una risposta dall’ambiente di valutazione.

Lo standard copre anche la coerenza dei benchmark, l’elicitazione delle capacità dei modelli e i bias nella valutazione. I risultati possono non superare il test di coerenza quando il sistema di punteggio, le istruzioni o le risposte di riferimento cambiano senza un aggiornamento di versione. Epoch esamina anche se i budget di token, i limiti di tempo, l’accesso agli strumenti, le sandbox e gli scaffold diano ai modelli un’equa possibilità di esprimere le proprie capacità.

La soglia del 20 per cento

La soglia standard di Epoch per la valutazione dei punteggi è quantitativa: almeno il 20 per cento di un campione esaminato deve contenere errori, oppure un singolo problema deve compromettere l’assegnazione dei punteggi su larga scala. Per i benchmark con più di 50 compiti, i valutatori esaminano un campione di 50 domande, estendendolo a 100 quando il tasso di errore osservato è compreso tra il 15 e il 25 per cento. I benchmark con 50 o meno compiti disponibili vengono valutati integralmente.

La soglia si applica allo standard minimo per la classificazione come verificato. Un benchmark può comunque presentare limitazioni senza essere classificato come problematico, ma un difetto che supera la soglia fa concludere la valutazione con un giudizio di problematicità. Epoch si ferma una volta individuati errori sufficienti e non sostiene che la sua prima valutazione abbia rilevato ogni possibile problema.

Le classificazioni di Epoch si riferiscono a versioni specifiche. Lo sviluppatore di un benchmark può pubblicare una versione corretta, ma la classificazione attribuita alla versione esaminata da Epoch non cambia automaticamente.

Perché le condizioni dei benchmark contano

La documentazione di Epoch pone particolare enfasi sulle condizioni in cui si svolge un test, non solo sulle sue domande. Il risultato di un modello può cambiare quando gli sviluppatori modificano lo scaffold, i limiti delle risorse, i prompt di sistema, l’accesso agli strumenti o le regole di conclusione. L’organizzazione cita un’analisi precedente che stimava come la modifica dello scaffold avesse prodotto differenze fino all’11 per cento per GPT-5 e fino al 15 per cento per Kimi K2 Thinking.

Queste condizioni complicano i confronti tra sviluppatori di modelli. Una classifica può sembrare ordinare i modelli in base alle capacità, pur riflettendo anche differenze nei prompt, nei framework per agenti, nei budget di token o nei permessi dell’ambiente. Quando il benchmark non rende note queste impostazioni, i ricercatori esterni hanno minori possibilità di riprodurre o interpretare il risultato.

Epoch avverte inoltre che gli ambienti per agenti possono creare opportunità di reward hacking. Un modello può ottenere un punteggio elevato attraverso una scorciatoia, un exploit o una debolezza a livello di ambiente, anziché dimostrando la capacità che il benchmark dichiara di misurare.

Un sistema di valutazione pensato per il vaglio pubblico

Epoch ha selezionato il campione iniziale in modo da coprire diversi tipi di errore e ambiti di ricerca. Intende dare priorità ai benchmark di ampia diffusione, con un numero elevato di citazioni, inclusi in recenti schede di sistema, rilevanti per la sicurezza o poco presenti nelle sue valutazioni esistenti. I test che richiedono conoscenze specialistiche possono richiedere più tempo, perché l’organizzazione prevede di coinvolgere esperti esterni delle materie interessate.

L’organizzazione non valuta i benchmark che ha creato a causa di conflitti di interesse. Inoltre contatta gli sviluppatori dei benchmark almeno un giorno prima della pubblicazione e pubblicherà integralmente una loro risposta, se gli sviluppatori desiderano includerla.

Il risultato immediato è una lettura più attenta delle classifiche dei benchmark. Nove dei 15 test esaminati presentano problemi che Epoch considera abbastanza gravi da incidere sull’interpretazione, mentre altri due non possono ancora essere valutati sulla base delle informazioni disponibili. Per chi confronta i modelli, il solo nome del benchmark non basta più: la versione, le regole di assegnazione dei punteggi e le condizioni di valutazione contano ora quanto la percentuale finale.