Oltre i punteggi aggregati: che cosa rivela la variazione sistematica del giudice LLM di Arena-Hard

Abstract degli autori

I giudici LLM vengono usati per stabilire quale di due risposte sia migliore. Per fidarsi dei loro verdetti occorre sapere quanto siano ripetibili e quanto dipendano dalle istruzioni impartite al giudice. Mostriamo che punteggi aggregati simili possono nascondere cambiamenti sostanziali nei singoli verdetti, sia quando si ripete la stessa configurazione sia quando cambiano le istruzioni. Mantenendo fisse le risposte di due modelli a 500 prompt di Arena-Hard v2.0, usiamo GPT-4.1 come giudice con tutte le otto combinazioni di criteri, formato dell’output e impostazione del compito. Ripetiamo poi ogni configurazione senza modificarla, a temperatura zero e con una versione fissata del modello. Ripetere la configurazione predefinita sposta il punteggio aggregato di circa un punto, ma cambia l’esito — vittoria, pareggio o sconfitta — per il 21,2% dei prompt. Le modifiche alle istruzioni introducono un’ulteriore variabilità: in una configurazione, che chiede il verdetto senza ragionamento ed elimina anche varie altre istruzioni, gli esiti cambiano per una quota di prompt superiore di 28,2 punti percentuali rispetto alla media delle ripetizioni senza modifiche delle due configurazioni, mentre il punteggio aggregato scende di 4,09 punti. In un’altra configurazione, in cui i criteri danno priorità all’accuratezza, la stessa differenza è di 6,7 punti percentuali, mentre il punteggio aggregato cambia appena. Un punteggio aggregato stabile, quindi, non dimostra che i singoli verdetti siano ripetibili. La distinzione conta quando quei verdetti vengono usati come etichette di preferenza o per valutare singole risposte. Le valutazioni che si basano sui singoli verdetti dovrebbero ripetere ogni configurazione utilizzata e riportare sia i punteggi aggregati sia il grado di concordanza a livello di prompt.