The Pulse
Un’analisi rileva che i criteri di valutazione dei benchmark possono variare i punteggi di 22 punti
Uno studio sui benchmark di IA multimodale rileva che i criteri di valutazione possono modificare i punteggi di accuratezza fino a 22 punti percentuali a parità di risposte dei modelli. Gli autori raccomandano di riportare i tassi di non co
AI.info Team · Scritto con l’IA · verificato ·
Risposte identiche, valutazioni diverse
Il criterio di valutazione di un benchmark multimodale può variare l’accuratezza dichiarata di un modello fino a 22 punti percentuali senza che nessuna delle sue risposte cambi. Ahmad Jarjis Hasan e Jonathan Lwowski hanno presentato il loro studio su arXiv il 2 novembre 2026, sostenendo che i punteggi dei benchmark possono dipendere da come il software interpreta una risposta tanto quanto da ciò che dice il modello. La loro analisi copre otto benchmark sottoposti a revisione paritaria e cinque modelli aperti visione-linguaggio che possono funzionare su una singola GPU da 16 GB.
La differenza emerge quando un modello fornisce testo libero invece della sola lettera corrispondente a un’opzione. Un benchmark deve decidere se rifiutare quella risposta, indovinare a quale assomigli o ricorrere a un’altra soluzione di ripiego; lo studio rileva che queste scelte sono spesso nascoste nel codice di valutazione. «Il voto è arrivato dal valutatore, non dal modello», scrivono gli autori.
Il divario di 22 punti nella valutazione di MMAD
Il maggiore divario misurato proviene da MMAD, un benchmark binario. Il criterio dell’opzione più vicina assegna una risposta non interpretabile alla risposta testualmente più simile, mentre un criterio di astensione la segna come errata. Sullo stesso insieme di 1.670 risposte, questi criteri producono una differenza di 22,0 punti per Llama-3.2-11B e di 21,2 punti per Pixtral-12B.
La divergenza non compare quando i modelli forniscono la sola lettera corrispondente a un’opzione: lo studio riporta una variazione di zero punti per quelle risposte. Questo però rende il problema più difficile da individuare nelle classifiche basate su modelli che seguono il formato richiesto. Nei test degli autori, la differenza è dovuta al criterio di ripiego, non a un cambiamento nella risposta del modello.
Perché nessuno dei due criteri di ripiego è una scelta predefinita sicura
Gli autori hanno confrontato i sistemi di valutazione con i giudizi umani su ciò che un modello aveva effettivamente risposto. Il loro procedimento in cieco ha affiancato l’etichettatura umana a un LLM usato come giudice; il giudice ha concordato con l’etichetta umana su 127 dei 130 elementi di MMAD, con un kappa di Cohen di 0,956. Il protocollo distingue una risposta in cui il modello ha scelto un’opzione da una che si limita a menzionarne una o non risponde alla domanda.
La verifica mette in luce errori in entrambe le direzioni. Tra le 110 risposte non conformi di MMAD esaminate, i modelli hanno scelto un’opzione solo nel 23% dei casi, eppure il criterio dell’opzione più vicina ne ha valutato il 72% come corretto. Anche l’astensione può segnare come errata una risposta quando un modello indica quella corretta a parole invece di selezionarne la lettera.
Il parser può contare anche quando un modello è conforme
Lo studio individua anche una fonte distinta di variazione dei punteggi: quale risposta corrispondente il parser conservi quando una risposta ne contiene più di una. Tra i sistemi di valutazione pubblicati per MMAD, undici conservano l’ultima lettera corrispondente e due la prima; gli autori riferiscono che questa scelta modifica il punteggio di un modello di ragionamento di 9,5 punti anche con un tasso di non conformità di 0,000.
Il risultato complica una soluzione semplice basata unicamente sulla richiesta ai modelli di rispettare i formati di risposta. Un modello può rispettare il formato e ricevere comunque un voto diverso perché il suo parser legge una parte diversa della risposta. Gli autori distinguono quindi le scelte di ripiego dal comportamento del parser e chiedono che entrambi siano riportati chiaramente.
Che cosa stabilisce l’analisi, e che cosa non stabilisce
Le evidenze più solide dello studio verificate da esseri umani provengono dal benchmark binario MMAD, e gli esperimenti coprono cinque modelli aperti nell’intervallo tra 7 e 12 miliardi di parametri, eseguiti in formato a 4 bit su una GPU da 16 GB. Gli autori affermano di non aver valutato modelli proprietari o molto più grandi, quindi gli effetti riportati non dovrebbero essere letti come una misura valida per ogni sistema multimodale. I loro risultati riguardano i sistemi di valutazione e le risposte esaminati.
Per gli sviluppatori di benchmark, la modifica proposta per la presentazione dei risultati è concreta: pubblicare un tasso di non conformità e i punteggi ottenuti con almeno due criteri di valutazione, anziché presentare un unico voto senza esaminarlo. Gli autori raccomandano di mostrare i risultati ottenuti sia con il criterio di astensione sia con quello dell’opzione più vicina, considerando il divario come prova della sensibilità al criterio adottato anziché come un intervallo definitivo di accuratezza. La conclusione centrale dello studio è che una stessa risposta può produrre punteggi diversi in un benchmark a seconda del sistema di valutazione che la legge.