Una valutazione più accurata delle traduzioni: ripensare la valutazione della traduzione automatica nell’era dei sistemi di livello umano

Abstract degli autori

Man mano che i sistemi di traduzione automatica si avvicinano a una qualità pari a quella umana, i metodi di valutazione tradizionali faticano a individuare gli errori di traduzione più sottili. Esaminiamo criticamente i limiti degli attuali approcci di riferimento (MQM ed ESA): le incoerenze dovute alle differenze di competenza tra gli annotatori, l’eccessiva complessità della classificazione, una scala troppo grossolana per la gravità degli errori, la preferenza per l’accuratezza rispetto alla scorrevolezza e i vincoli di tempo. Per affrontare il problema, presentiamo un dataset di alta qualità composto da valutazioni umane di traduzioni dall’inglese al russo di WMT24, realizzate da linguisti professionisti. Mostriamo che le valutazioni degli esperti condotte senza vincoli di tempo producono risultati sostanzialmente diversi dalle valutazioni standard. Per consentire a questi esperti di produrre annotazioni coerenti e ricche di informazioni, abbiamo sviluppato il protocollo RATE (Refined Assessment for Translation Evaluation). RATE offre una tassonomia degli errori semplificata, una scala più articolata per valutarne la gravità e un punteggio multidimensionale che bilancia accuratezza e scorrevolezza, permettendo un’analisi più approfondita dei risultati della traduzione automatica. L’analisi basata su questo dataset di valutazioni esperte rivela che i sistemi di traduzione automatica più avanzati potrebbero aver superato le traduzioni umane in accuratezza, pur restando inferiori per scorrevolezza: una distinzione cruciale che le metriche esistenti, sbilanciate a favore dell’accuratezza, non mettono in luce. I nostri risultati evidenziano che, per migliorare la valutazione della traduzione automatica, servono non solo protocolli migliori ma, soprattutto, annotazioni di alta qualità realizzate da linguisti esperti.