Lo stato e il destino della valutazione multilingue e contestuale nel mondo dell’NLP

Abstract degli autori

I benchmark di valutazione multilingue sono lo strumento principale per verificare se i modelli linguistici di grandi dimensioni siano in grado di generalizzare oltre l’inglese. Eppure, l’adeguatezza di questi benchmark è stata esaminata sistematicamente solo di rado. Presentiamo un’analisi basata sui dati di 51 recenti benchmark multilingue, che comprendono 242 dataset e 219 lingue, articolata attorno a tre pilastri: copertura, rappresentatività e rigore. La nostra analisi mostra che la copertura è ampia ma poco profonda: il 36% delle lingue valutate compare in un solo benchmark, la presenza di intere regioni (Oceania, Americhe, Asia centrale) è quasi nulla e una marcata disparità nella copertura delle attività fa sì che le lingue con poche risorse siano valutate in appena 1-3 categorie di attività, contro 14 per le lingue con molte risorse. La rappresentatività è compromessa sul piano strutturale: la traduzione dall’inglese resta la strategia di costruzione dominante. Il 56% di tutte le istanze dataset-lingua è tradotto, con l’introduzione di artefatti e di un’impostazione anglocentrica, mentre i contenuti radicati nelle culture locali si concentrano in pochi benchmark sviluppati dalle comunità, che coprono un numero limitato di lingue. L’ecosistema impone quindi un compromesso tra ampiezza e validità. Il rigore è minato dalla contaminazione dei benchmark, anche attraverso la fuga di dati dai benchmark tradotti e le sovrapposizioni con corpora paralleli, che sfuggono ai metodi di rilevamento basati sulla forma superficiale. Da questi risultati ricaviamo raccomandazioni concrete per costruire sistemi di valutazione sviluppati direttamente nelle lingue interessate, radicati nelle rispettive culture, attenti alla contaminazione e progettati per servire le comunità di cui dichiarano di valutare le lingue. La dashboard con tutti i metadati raccolti è disponibile all’indirizzo https://aka.ms/multilingual-evals.