Grandi modelli linguistici per l’annotazione della qualità della traduzione automatica: esseri umani e modelli sono entrambi messi alla prova

Abstract degli autori

I grandi modelli linguistici (LLM) sono considerati un’alternativa più efficiente ed economica al giudizio umano per valutare la traduzione automatica (MT). Poiché la valutazione della MT riguarda numerose coppie di lingue, ambiti e livelli di dettaglio delle annotazioni, gli LLM devono essere esaminati a fondo lungo tutte queste dimensioni prima di poter essere impiegati in modo affidabile come alternativa alla valutazione umana. In questo studio valutiamo le prestazioni degli LLM secondo due importanti schemi di valutazione della qualità della MT, Multidimensional Quality Metrics (MQM) ed Error Span Annotation (ESA), confrontando la concordanza dei loro risultati con le annotazioni umane. Presentiamo i risultati ottenuti su un set di test a contesto lungo che comprende 70 coppie di lingue e sui dati pubblicamente disponibili di WMT23 e WMT25, esaminando la concordanza sia sui punteggi sia sull’annotazione dei segmenti di errore in diverse coppie di lingue e ambiti. I risultati mostrano che, sebbene in alcuni compiti di valutazione la concordanza tra LLM e annotatori umani superi quella tra annotatori umani, entrambe variano notevolmente a seconda dello schema di annotazione, della coppia di lingue e dell’ambito, e restano inaffidabili nella maggior parte dei casi. Individuiamo inoltre difficoltà comuni agli annotatori umani e agli LLM: per gli esseri umani risultano particolarmente impegnative le annotazioni MQM dettagliate e le coppie di lingue con poche risorse, mentre gli LLM incontrano difficoltà con gli errori minori, le varianti linguistiche errate e l’annotazione dei segmenti di errore. I risultati evidenziano margini di miglioramento per le prestazioni di entrambi, potenzialmente attraverso processi di annotazione collaborativa tra esseri umani e LLM che affrontino i problemi di affidabilità individuati in questo studio.