VL-DocIR: un benchmark per il recupero visivo di informazioni da documenti lunghi

Abstract degli autori

Il recupero visivo di documenti è migliorato rapidamente, ma le valutazioni attuali continuano a concentrarsi su documenti brevi e su una sola pagina pertinente. Resta così un divario importante tra le prestazioni nelle classifiche dei benchmark e il recupero di informazioni da documenti lunghi in condizioni realistiche, dove le evidenze necessarie per rispondere a una query possono trovarsi in più pagine o persino in più documenti. Presentiamo VL-DocIR, un benchmark a livello di pagina per il recupero visivo di documenti lunghi che richiede di individuare tutte le evidenze. VL-DocIR è costruito a partire da 29.641 documenti nati in formato HTML, convertiti in 388.548 immagini di pagina, provenienti da Wikipedia, arXiv, PubMed e dalle dichiarazioni di delega della SEC. Contiene 271.760 query distribuite in 23 ambiti e sei strutture delle evidenze, che comprendono configurazioni con evidenze su una sola pagina, su più pagine dello stesso documento e su più documenti. Le annotazioni delle evidenze sono ancorate alle pagine renderizzate e agli identificatori degli elementi HTML; le query vengono filtrate con una procedura di pulizia mirata a garantirne la chiarezza, la correttezza, il carattere chiuso e l’assenza di riferimenti espliciti al layout. Valutiamo i principali sistemi di recupero visivo a vettore singolo e a vettori multipli, insieme a configurazioni diagnostiche quali l’attribuzione dei punteggi in base al contesto del documento, la suddivisione delle query, il reranking e gli ensemble round-robin. La configurazione valutata più efficace raggiunge 69,3 nDCGAll@10 e 80,6 RecallAll@10 nella valutazione Macro bilanciata per struttura. Tuttavia, i risultati suddivisi per fonte e per struttura delle evidenze mostrano che il recupero da più documenti resta sostanzialmente più difficile di quello da una sola pagina e che l’attribuzione dei punteggi in base al contesto del documento è particolarmente utile per le query che richiedono più pagine dello stesso documento. VL-DocIR mette in luce queste difficoltà e offre un obiettivo più impegnativo per il recupero visivo di documenti lunghi. Il nuovo dataset e il codice saranno resi pubblicamente disponibili all’indirizzo https://yufanchen96.github.io/VL-DocIR.