The Pulse
whatmodel.sh rileva che i punteggi dei laboratori di IA sono in media più alti del 6,4%
Un’analisi pubblicata su whatmodel.sh confronta 611 coppie di risultati di benchmark di IA relativi a 180 modelli e 103 test. Rileva che i punteggi dichiarati dai laboratori sono in media superiori del 6,4% ai risultati indipendenti, ma avv
AI.info Team · Scritto con l’IA · verificato ·
I punteggi dei benchmark dichiarati dai laboratori di IA sono in media più alti del 6,4% rispetto ai risultati indipendenti ottenuti dagli stessi modelli negli stessi test, secondo un’analisi pubblicata su whatmodel.sh. Il confronto comprende 611 coppie di risultati relativi a 180 modelli e 103 benchmark. La cifra principale indica una differenza relativa, non uno scarto di 6,4 punti percentuali nelle scale di punteggio dei benchmark.
Che cosa misura il 6,4%
Per ogni coppia, l’analisi divide la differenza tra il punteggio del laboratorio e quello indipendente per il punteggio indipendente, poi calcola la media delle percentuali ottenute, attribuendo lo stesso peso a ogni coppia. Il calcolo include i pareggi e i casi in cui il punteggio del laboratorio è inferiore. La differenza relativa mediana è dell’1,2%, mentre l’intervallo al 95% per la media va dal 3,8% al 9,5%; per calcolarlo, l’analisi ricampiona modelli interi, perché i risultati di uno stesso modello non sono indipendenti.
Anche la direzione delle differenze tende a favorire i laboratori, sebbene non in tutti i confronti. Sulle 611 coppie, pareggi inclusi, il punteggio del produttore è più alto nel 61% dei casi e lo scarto mediano sulla scala propria di ciascun test è di 0,8 punti. Escludendo i pareggi esatti, i punteggi dei laboratori sono più alti in 375 confronti e quelli indipendenti in 216, pari al 63% delle coppie con una differenza diversa da zero.
Gli scarti variano nettamente da un test all’altro
L’entità e la direzione delle differenze dipendono da ciò che un benchmark chiede ai modelli di fare e da come i valutatori lo eseguono. Su SWE-bench Verified e MBPP, ciascuno con 13 coppie, il vantaggio mediano dei laboratori è di 9 punti; i loro punteggi sono più alti nel 92% dei confronti su SWE-bench e nel 77% di quelli su MBPP. Per contro, lo scarto mediano è pari a zero su MMLU, con 20 coppie, e HumanEval, con 34.
Diverse valutazioni sensibili alle condizioni di esecuzione mostrano nell’analisi un marcato sbilanciamento a favore dei produttori. I laboratori ottengono punteggi più alti nell’86% delle 14 coppie relative ad AIME 2024 e nell’84% delle 19 coppie relative a GSM8K; gli scarti mediani sono rispettivamente di 3,8 e 3,3 punti. Il sito osserva che le differenze nel campionamento e nei budget di ragionamento possono influire sui risultati dei test matematici, mentre i test di programmazione e quelli sugli agenti possono dipendere dai prompt, dagli esempi few-shot o dall’infrastruttura software usata per eseguire il modello.
Uno scarto non prova che i risultati siano stati gonfiati
Il confronto non dimostra che i laboratori sovrastimino deliberatamente le prestazioni. L’autore segnala differenze nello sforzo di ragionamento, nella configurazione degli agenti, nei prompt, nei sottoinsiemi dei benchmark e nelle versioni dei test: ciascuna può rendere difficile il confronto diretto tra due punteggi. L’analisi osserva inoltre che i laboratori scelgono quali benchmark pubblicare, perciò le coppie confrontate non costituiscono un campione casuale di tutte le valutazioni dei modelli.
Alcuni dati relativi ai singoli produttori mostrano perché la media complessiva non vada interpretata come un giudizio su ogni azienda. Tra i gruppi del sito con almeno 10 coppie, Alibaba Cloud registra uno scarto mediano di 1,1 punti su 148 confronti, mentre quello di Meta è di 0,7 punti su 89. La mediana di EleutherAI è leggermente negativa, pari a -0,1 su 48 coppie; il sito avverte che i risultati dei gruppi piccoli possono oscillare notevolmente.
Chi usa i benchmark ha comunque bisogno delle condizioni di test
Per i team che scelgono un modello, i risultati rendono importanti i dettagli dietro un punteggio di benchmark: quale versione del test è stata eseguita, quali prompt e strumenti sono stati usati e quanto tempo di ragionamento ha avuto il modello. Un punteggio ripreso da una scheda del modello potrebbe non coincidere con il risultato di un altro valutatore, anche quando entrambi dichiarano di misurare lo stesso benchmark. L’analisi offre agli acquirenti un ampio confronto tra i risultati pubblicati, ma le sue stesse riserve lasciano irrisolta la principale questione pratica: quanta parte di ciascuno scarto riflette condizioni di test diverse e quanta una differenza nelle prestazioni misurate del modello?