Il riconoscimento non è ancoraggio alle evidenze: un benchmark per l’estrazione multilingue di dati finanziari

Abstract degli autori

Confrontare le informative finanziarie in lingue diverse richiede di individuare i concetti contabili comuni e recuperare tutti i dati numerici che li esprimono. I benchmark esistenti valutano alcuni aspetti di queste capacità, ma dicono poco sulla possibilità che entrambe funzionino sulle stesse evidenze multilingue. In particolare, non è chiaro se i modelli linguistici sappiano riconoscere questi concetti in lingue diverse e recuperare in modo esaustivo i dati numerici corrispondenti dagli stessi contesti. Presentiamo MULTIFINGROUND, un benchmark progettato per esaminare questo divario tra riconoscimento e ancoraggio alle evidenze nei rapporti finanziari multilingue. Costruito a partire dalle informative relative all’esercizio FY2025 di 90 emittenti, in inglese, francese e greco, MULTIFINGROUND allinea rapporti redatti indipendentemente tramite una tassonomia contabile condivisa e fornisce annotazioni tracciabili a livello di singolo dato. Il benchmark valuta l’individuazione dei dati finanziari, il riconoscimento dei concetti, la selezione esaustiva dei dati e la distinzione tra concetti senza etichette candidate. Tra i 15 modelli valutati, otto modelli di riferimento accessibili tramite API o a pesi aperti raggiungono un’accuratezza del 97,3-99,4\% nel riconoscimento dei concetti, ma omettono almeno un dato da individuare nel 26,6-41,9\% dei gruppi riconosciuti correttamente. Ulteriori analisi mostrano notevoli differenze nella capacità di distinguere tra concetti e miglioramenti limitati da parte dei modelli specializzati in finanza valutati. I nostri risultati dimostrano che un’elevata capacità di riconoscere i concetti può coesistere con un recupero incompleto delle evidenze, sottolineando l’importanza di valutare insieme il riconoscimento semantico e la completezza delle evidenze.