HERIT: rendere possibile l’accesso globale alla traduzione storica dall’hanja all’inglese mitigando i bias temporali

Abstract degli autori

Gli archivi storici sono una risorsa inestimabile per la ricerca multidisciplinare, ma restano inaccessibili a livello globale a causa di gravi barriere linguistiche. La traduzione manuale è proibitivamente costosa e richiede molto tempo, mentre applicare semplicemente i modelli di traduzione automatica esistenti non è sufficiente, a causa delle peculiarità linguistiche e del bias temporale intrinseco ai corpora limitati etichettati da esseri umani. Per affrontare queste sfide, proponiamo HERIT, una pipeline sistematica di adattamento al dominio che sfrutta la generazione aumentata dal recupero (RAG) per creare dati di alta qualità con pseudo-etichette a partire da abbondanti corpora in hanja e coreano. Questo approccio amplia notevolmente il dataset di addestramento, mitigando sia la scarsità di dati sia il sovradattamento temporale nei diversi periodi storici. Valutazioni approfondite, automatizzate e condotte da esseri umani, dimostrano che HERIT supera costantemente i modelli di riferimento. Infine, con il nostro modello traduciamo parti degli archivi che non erano state tradotte in precedenza, rendendo così queste risorse accessibili ai ricercatori di tutto il mondo.