The Pulse
Uno studio Apple rileva che le valutazioni delle traduzioni affidate agli LLM sono ancora inaffidabili
Uno studio Apple ha confrontato quattro modelli linguistici con annotatori umani in compiti di valutazione della qualità delle traduzioni automatiche, tra cui la classificazione degli errori e l’individuazione dei segmenti errati. I modelli
AI.info Team · Scritto con l’IA ·
Nell’individuare i segmenti errati, gli LLM restano indietro rispetto agli annotatori umani
In un test WMT25 sui segmenti contenenti errori di traduzione, gli annotatori umani hanno raggiunto un punteggio F1 di sovrapposizione dei segmenti pari a 0,45; quattro grandi modelli linguistici hanno ottenuto punteggi compresi tra 0,30 e 0,31 sulla stessa misura. I dati provengono da uno studio Apple presentato ad arXiv il 7 ottobre 2026, che verifica se i modelli linguistici possano sostituire le persone nella valutazione delle traduzioni automatiche. I ricercatori hanno confrontato le annotazioni dei modelli con i giudizi umani su diverse coppie linguistiche, ambiti di traduzione e due metodi di valutazione.
Lo studio non misura quanto bene traducano i modelli. Misura con quanta coerenza individuino i problemi di traduzione e ne valutino la gravità, una distinzione importante quando i team usano valutatori automatizzati per confrontare i sistemi di traduzione. Gli autori hanno messo alla prova Gemini 2.5 Flash, GPT-OSS-120B, DeepSeek-V3.1 e Qwen3.5-397B rispetto alle annotazioni umane secondo Multidimensional Quality Metrics (MQM) ed Error Span Annotation (ESA).
Quattro modelli, 70 coppie linguistiche
Gli esperimenti Apple combinano i dataset pubblici WMT23 MQM e WMT25 ESA con un dataset MQM interno, a contesto lungo, che copre 70 coppie linguistiche. WMT25 copre 14 coppie linguistiche in cinque ambiti: dialoghi, istruzione, testi letterari, notizie e social media. Il dataset a contesto lungo usa testi web di più paragrafi, con traduzioni umane e risultati prodotti da sistemi di traduzione neurale e basati su LLM.
I metodi chiedono agli annotatori di fare più che assegnare un unico punteggio di qualità. MQM richiede di segnalare gli errori, classificare ciascuno e assegnargli un livello di gravità; il punteggio viene poi calcolato a partire da queste annotazioni. ESA chiede agli annotatori di individuare i segmenti errati e assegnare direttamente un punteggio. I ricercatori hanno misurato il grado di accordo usando l’alfa di Krippendorff per i punteggi e il punteggio F1 per i segmenti errati, confrontando l’accordo tra modelli e persone con quello tra annotatori umani.
Gli errori minori e le varianti locali mettono in difficoltà i valutatori
I modelli hanno avuto particolari difficoltà a trovare gli errori minori, che possono distinguere sistemi di traduzione con risultati molto vicini quando gli errori gravi sono ormai poco comuni. Nei risultati WMT25 ESA sulla sovrapposizione dei caratteri, il punteggio F1 degli annotatori umani è stato di 0,43, contro un intervallo da 0,16 a 0,18 per i quattro modelli. Questa misura della sovrapposizione dei caratteri è distinta dal punteggio F1 di sovrapposizione dei segmenti, pari a 0,45 per gli annotatori umani e compreso tra 0,30 e 0,31 per i modelli. Il grado di accordo è diminuito anche per i tipi di errore meno comuni, tra cui le omissioni e i segmenti mancanti.
Un test sulle varianti linguistiche ha messo in luce un problema diverso. Nei dati di traduzione dall’inglese all’arabo egiziano, i ricercatori hanno stimato che il 60% delle traduzioni usasse l’arabo standard moderno anziché la variante egiziana richiesta. Gli annotatori umani hanno classificato quei risultati come traduzioni nella lingua sbagliata e hanno assegnato loro un punteggio pari a zero; gli LLM hanno spesso assegnato loro punteggi elevati nonostante le istruzioni di penalizzare la mancata corrispondenza.
I modelli hanno avuto difficoltà anche a indicare con precisione dove si trovassero gli errori individuati. Almeno l’80% dei segmenti estratti dagli indici di carattere forniti dai modelli non corrispondeva al testo dei segmenti nell’output dei modelli stessi, perciò i ricercatori hanno dovuto riallineare i segmenti di testo prima di confrontare le annotazioni.
Superare talvolta le persone non basta a essere affidabili
I risultati Apple non sono uniformemente sfavorevoli agli LLM: in alcuni compiti, coppie linguistiche e ambiti, il grado di accordo tra modelli e persone è stato pari o superiore a quello tra persone. Ma i risultati cambiavano sensibilmente a seconda del modello, del metodo di valutazione e della coppia linguistica. Secondo lo studio, in quasi tutte le combinazioni di coppie linguistiche e ambiti dell’ESA, il grado di accordo è rimasto al di sotto del valore di 0,667 che i ricercatori usano come soglia per trarre conclusioni provvisorie.
Tuttavia, i nostri risultati suggeriscono che gli LLM non siano ancora un sostituto affidabile delle persone nella valutazione della traduzione automatica.
Hala Almaghout, Christian Federmann e Qin Gao, autori dello studio
Gli autori sostengono che i team di traduzione dovrebbero verificare il grado di accordo per le lingue e gli ambiti specifici che intendono valutare, anziché presumere che il punteggio di un modello valga anche in contesti diversi. I risultati rendono più complesso anche il riferimento costituito dai giudizi umani: le persone stesse sono meno concordi sulle etichette MQM più dettagliate e sulle coppie linguistiche con poche risorse disponibili. Nella misura WMT25 di sovrapposizione dei segmenti usata nello studio, l’accordo tra annotatori umani ha raggiunto 0,45, mentre ciascun modello testato ha ottenuto un punteggio compreso tra 0,30 e 0,31.