Gold contro~traduzione: misuriamo la lingua, la conoscenza o la dimensione locale nei benchmark tradotti?

Abstract degli autori

Le versioni tradotte di benchmark nati in inglese, come MMLU, sono ampiamente utilizzate per valutare i modelli linguistici di grandi dimensioni in lingue diverse dall’inglese; tuttavia, non è ancora chiaro se misurino gli stessi costrutti dei benchmark creati direttamente in quelle lingue. Inquadriamo la questione come un problema di validità del proxy e confrontiamo i proxy di MMLU tradotti con DeepL con sei benchmark nativi, in sette abbinamenti che coinvolgono cinque lingue nordiche e baltiche, valutando 29 modelli per ciascun abbinamento. Oltre alla concordanza delle classifiche, verifichiamo la validità incrementale del proxy: il punteggio tradotto aggiunge valore predittivo per le prestazioni sul benchmark nativo, una volta controllati la dimensione del modello e il livello di competenza linguistica? La validità del proxy varia notevolmente da un abbinamento di benchmark all’altro. Applicando gli stessi criteri di robustezza a tutti e sette gli abbinamenti, riscontriamo quattro effetti robusti, due marginali e un risultato nullo. Le prove più solide riguardano i benchmark che presentano una sovrapposizione con i contenuti del curriculum, come Skolprov ($ΔR^2$=0,128, IC 95% [0,038; 0,253]), mentre MMLU tradotto non offre un valore incrementale significativo per la conoscenza fattuale specifica della Svezia misurata da SwedishFacts (p=0,242). Poiché SwedishFacts è anche l’unico benchmark a risposta aperta, non possiamo separare del tutto gli effetti dei contenuti locali da quelli del formato di risposta. Nel complesso, i risultati indicano un chiaro schema: i benchmark tradotti forniscono un proxy migliore quando i contenuti della fonte si sovrappongono all’oggetto della valutazione nativa, mentre le conoscenze radicate nel contesto locale vengono rilevate in modo meno affidabile.