Wieszcz-XIX: un corpus di 3,1 miliardi di parole del polacco anteriore al 1918 e modelli linguistici delimitati temporalmente addestrati da zero

Abstract degli autori

Il polacco storico è ben documentato come lingua, ma per il periodo trattato in questo articolo solo circa un milione di parole è annotato in un formato leggibile dalle macchine; il resto dipende da trascrizioni ottenute mediante riconoscimento ottico dei caratteri, di qualità variabile. Presentiamo Wieszcz-XIX, un corpus di 6,75 miliardi di token (circa 3,1 miliardi di parole) in 294.369 documenti, perlopiù numeri di periodici, pubblicati in polacco dal 1800 al 1918. È stato assemblato a partire da Wolne Lektury e Internet Archive mediante una procedura che filtra i dati, elimina i duplicati, verifica la presenza di materiale successivo al 1918 e suddivide i dati a livello di documento. È oltre tre ordini di grandezza più ampio del corpus annotato relativo allo stesso periodo, e ne quantifichiamo i difetti: gli errori di riconoscimento rispetto a una soglia di falsi positivi, i duplicati quasi identici, che vengono rimossi, e la presenza di materiale successivo al 1918, escluso dal corpus di addestramento stesso fino a lasciare un residuo noto, individuato nella fonte trascritta, pari allo 0,04–0,38% dei suoi byte. Il corpus pubblicato coincide quindi, documento per documento, con quello usato per l’addestramento. Su un campione corretto manualmente, il tasso di errore a livello di carattere è dello 0,68% dove il testo è leggibile, mentre il 45% dei brani campionati non può essere corretto. Sul corpus addestriamo da zero una serie di modelli con solo decoder, da 47M a 349M parametri, e ne misuriamo la delimitazione temporale. Nel confronto con due moderni modelli di base per il polacco, uno dei quali molto più grande, il modello da 349M mostra un’inversione di prestazioni, così come quello da 107M rispetto al modello di confronto di dimensioni analoghe: il vocabolario successivo al 1918 richiede loro circa 3,1 bit per byte in più rispetto a quello dell’epoca, una differenza che i modelli di confronto non mostrano, mentre il vocabolario dell’epoca richiede loro meno bit di quanti ne richieda ai modelli di confronto. Quando viene mostrato loro un testo dell’epoca, i modelli ne conservano l’ortografia, mentre quelli di confronto lo fanno solo in parte. Aumentare il numero di parametri porta benefici circa doppi rispetto a una seconda passata sui dati. Rendiamo disponibili il corpus, il codice e i pesi dei modelli. Avvertenza sui contenuti: i modelli riproducono i pregiudizi dell’epoca, comprese affermazioni antisemite.