Pensa prima di collegare: rarità, ragionamento e recupero delle informazioni nell’entity linking multilingue

Abstract degli autori

L’entity linking multimodale associa le menzioni di entità presenti in testi e immagini alle voci di una base di conoscenza. Le prestazioni di questi sistemi peggiorano sulle entità rare, ma i lavori precedenti misurano la rarità soprattutto con metriche basate sulla popolarità, come le visualizzazioni delle pagine. Ampliamo questa prospettiva usando metriche strutturali dei grafi della conoscenza, che rilevano quanto un’entità sia documentata e connessa. Queste metriche individuano molte entità rare che sfuggono alle metriche di popolarità. Nei sottoinsiemi di entità rare così ottenuti, l’accuratezza dei sistemi più avanzati cala del 15,4-39,9%: definizioni diverse di rarità mettono quindi in luce problemi diversi. Per affrontarli, introduciamo un semplice framework che non richiede addestramento: un modello visione-linguaggio capace di ragionare effettua ricerche iterative su Wikipedia e ne esamina i contenuti, raccogliendo elementi di prova in modo dinamico. Esperimenti controllati mostrano che ragionamento e recupero delle informazioni sono complementari. Il solo ragionamento non migliora in modo significativo l’accuratezza sulle entità rare. Il recupero delle informazioni senza ragionamento migliora l’accuratezza sulle entità rare, ma può ridurre quella complessiva. La loro combinazione dà i risultati migliori. Su MERLIN, un benchmark di entity linking multimodale e multilingue in cinque lingue (hindi, indonesiano, giapponese, tamil, vietnamita), il nostro sistema migliore supera lo stato dell’arte del 6,9% nel complesso e fino al 23,3% nei sottoinsiemi di entità rare. Insieme al nostro framework, rendiamo disponibili MERLIN-Rare, sottoinsiemi di test composti da entità rare per una valutazione mirata.