Oltre i prompt: uno studio sistematico dei valutatori della traduzione automatica basati su LLM

Abstract degli autori

I valutatori basati su LLM sono diventati rapidamente uno strumento standard per valutare la traduzione automatica, ma le scelte progettuali che ne determinano il comportamento restano poco comprese. Presentiamo uno studio sistematico di come la formulazione delle istruzioni, gli esempi few-shot, la scelta del modello backbone e i processi in più fasi influenzino la valutazione della traduzione automatica a livello di segmenti di testo e basata sul ranking. Raccogliamo nuove annotazioni RATE prodotte da esperti su traduzioni dall’inglese al russo di WMT24 e WMT25, con una validazione del trasferimento su benchmark annotati secondo MQM ed ESA per altre cinque coppie linguistiche. I nostri esperimenti evidenziano quattro risultati solidi: la struttura delle istruzioni determina il comportamento del valutatore; la qualità degli esempi conta più della quantità; i modelli backbone di frontiera presentano profili di valutazione distinti, orientati al richiamo, alla precisione o al ranking; e la combinazione dei risultati di diversi modelli backbone supera le configurazioni che chiamano più volte un singolo valutatore. Sebbene la progettazione dei valutatori apra un ampio spazio di combinazioni, diversi principi progettuali individuati si trasferiscono in modo coerente tra protocolli di annotazione e coppie linguistiche. Sintetizziamo questi risultati in ORBIT, una famiglia di valutatori della traduzione automatica basati su LLM. Le nostre configurazioni migliori raggiungono prestazioni al livello degli esperti nell’individuazione dei segmenti di errore e nel ranking per accuratezza e scorrevolezza, a un costo circa 20 volte inferiore a quello dell’annotazione da parte di esperti umani.