TopoGraphRAG-Bench: valutare il GraphRAG multimodale nel ragionamento sulle evidenze ancorato all’impaginazione

Abstract degli autori

Nei documenti reali, le evidenze sono distribuite tra testo, tabelle, figure e didascalie, all’interno di impaginazioni complesse. Rispondere a domande complesse su questi documenti richiede quindi più che recuperare i passaggi pertinenti: i sistemi devono ricostruire la topologia che collega unità di evidenza eterogenee. Le valutazioni esistenti di GraphRAG restano in gran parte incentrate sul testo, mentre i benchmark per il RAG documentale multimodale valutano il recupero e la generazione tra modalità diverse senza esaminare direttamente la ricostruzione della topologia prevista delle evidenze. Presentiamo TOPOGRAPHRAG-BENCH, un benchmark ancorato all’impaginazione per il ragionamento sulle evidenze multimodali in GraphRAG, che comprende 2.024 domande su 201 documenti lunghi e ricchi di contenuti visivi. Le domande sono costruite a partire da unità di evidenza testuali, grafiche e tabellari, secondo tre topologie controllate: recupero a un solo passaggio, ragionamento attraverso una catena di collegamenti e sintesi da più fonti. Per garantire che le domande conservino la struttura prevista, applichiamo una validazione controfattuale che verifica la resistenza alle scorciatoie, la necessità di ciascuna modalità e la necessità delle evidenze. Valutiamo sistemi GraphRAG basati solo sul testo, sistemi di recupero visivo a livello di pagina e sistemi GraphRAG multimodali usando metriche di recupero, generazione e ragionamento sensibili alla topologia. I sistemi GraphRAG multimodali ottengono nel complesso i risultati migliori, ma continuano a fallire quando l’allineamento tra evidenze visive e testuali o la composizione di più unità di evidenza sono incompleti. I sistemi GraphRAG basati solo sul testo incontrano difficoltà quando le dipendenze fondamentali si trovano nelle figure o nelle tabelle, mentre il recupero visivo a livello di pagina non offre la struttura dettagliata necessaria per ricostruire la topologia. Questi risultati indicano la necessità di sistemi GraphRAG che vadano oltre i grafi di relazioni tra entità ricavati dal testo, per modellare esplicitamente l’impaginazione dei documenti, l’allineamento delle evidenze tra modalità diverse e il ruolo delle unità di evidenza nel ragionamento. Il codice e i dati sono disponibili all’indirizzo https://richardlrc.github.io/TopoGraphRAG-Bench/.