Stesso output, gold diverso: come la scelta del riferimento sposta il punteggio di un benchmark multilingue

Abstract degli autori

Il punteggio di un benchmark confronta l’output di un sistema con un riferimento, ma l’attenzione metodologica si concentra quasi interamente sul primo. Noi misuriamo il secondo. Il registro delle annotazioni conservato per un benchmark in sei lingue sui dati personali identificativi contiene due etichettature indipendenti effettuate da annotatori, l’aggregato distribuito come gold e un gold del revisore ottenuto dalla riannotazione indipendente di un campione da parte di esperti. Usando questo registro, manteniamo fisso l’output valutato e cambiamo il riferimento. Il punteggio varia di 4,95 punti F1 per un output e di 2,00 per l’altro (intervalli di confidenza al 95%: [3,23; 6,27] e [0,26; 3,37]), e di 7,55 punti nel caso peggiore tra le lingue. Cambia anche il confronto tra i due output: l’interazione appaiata tra riferimento e sistema è di +2,95 punti (intervallo di confidenza [+1,97; +3,87]), resiste alla correzione per test multipli e cambia del tutto il margine in una lingua. La causa è un’impostazione predefinita non documentata dell’aggregazione: quando non scattava l’arbitraggio, di solito veniva mantenuta l’etichettatura di un annotatore. Il riferimento distribuito risultava così una copia parziale di uno degli output valutati. Riportiamo la fascia di sensibilità al riferimento che ne deriva, mostriamo come calcolarla a partire da qualsiasi registro delle annotazioni conservato e sosteniamo che questa misura debba affiancare il punteggio.