Un approccio basato su una rete convoluzionale gerarchica su grafi per rilevare i documenti di bassa qualità

Abstract degli autori

La coerenza interna di un documento è un indicatore fondamentale della sua qualità. Oggi, nell’enorme quantità di informazioni prodotte dai diversi media, si trova un numero considerevole di documenti di bassa qualità: alcuni mancano di coerenza interna, altri hanno contenuti del tutto estranei ai titoli. Questi documenti affaticano i lettori e minano la credibilità della fonte mediatica che li ha forniti. È quindi indispensabile studiare metodi basati sull’elaborazione del linguaggio naturale per rilevarli automaticamente. In questo studio presentiamo una rete convoluzionale gerarchica su grafi (HGCN) in grado di rilevare sia le incoerenze interne a un documento sia le incongruenze tra titolo e corpo del testo. Abbiamo inoltre costruito l’Inconsistency Dataset, sfruttando i dati di notizie pubblicate e i relativi metadati, per addestrare il nostro modello a rilevare le incoerenze nei documenti. Nei test, l’HGCN ha ottenuto prestazioni superiori a quelle degli altri modelli usati per il confronto, con un’accuratezza del 91,20% sull’Inconsistency Dataset da noi costruito. Sul dataset relativo alle incongruenze disponibile pubblicamente, la metodologia proposta ha inoltre raggiunto una prestazione del 92,00%, a conferma della sua applicabilità generale. Infine, uno studio di ablazione ha confermato il notevole contributo dell’uso dei metadati al miglioramento delle prestazioni. Prevediamo che il nostro modello possa essere applicato universalmente per rilevare e filtrare i documenti di bassa qualità nel mondo reale.