Stesso CER, danni diversi: tasso di errore sui caratteri ponderato per gravità nell’OCR

Abstract degli autori

Il tasso di errore sui caratteri (CER), la metrica standard per l’OCR e i modelli visivo-linguistici (VLM), attribuisce a un refuso lo stesso peso che a un nome sbagliato. Presentiamo semCER, che conserva l’allineamento e il denominatore del CER ma assegna a ogni modifica di grafema un grado di gravità stabilito da un LLM valutatore, senza segmentare il testo in parole. Il CER normalizzato fornisce il punteggio della trascrizione nel suo complesso, rispetto al quale rispecchia le valutazioni dei lettori almeno quanto semCER; semCER scompone poi quel punteggio in modifiche identificate singolarmente. I pesi assegnati rispecchiano le valutazioni dei lettori modifica per modifica in inglese, vietnamita e cinese, e collocano vicino alla cima di un elenco ordinato le modifiche che i lettori giudicano più gravi. Nelle coppie selezionate tra i casi in cui CER e semCER non concordavano, i lettori si schierano più spesso con semCER che con il CER normalizzato in inglese e cinese, e con la stessa frequenza in vietnamita. In 16 lingue, il valutatore attribuisce a un segno diacritico o di tono sbagliato una gravità quasi nulla in spagnolo, ma in telugu quasi pari a quella di una lettera sbagliata. Dove è possibile contare le parole esistenti, una lettera sbagliata prodotta da un VLM generalista dà origine a una parola esistente con una frequenza ben superiore a quella attesa per caso, mentre per una pipeline classica la frequenza resta vicina a quella attesa per caso. Rendiamo disponibili i 61 milioni di modifiche valutate, le valutazioni aggregate dei lettori e il modello di valutazione distillato all’indirizzo https://github.com/nguyenx2t/semcer.