ReGround: collegare i commenti dei revisori alle evidenze multimodali

Abstract degli autori

I commenti dei revisori si riferiscono naturalmente a parti specifiche dell’articolo sottoposto a revisione, ma collegarli alle evidenze sottostanti è difficile, data la lunghezza dei documenti multimodali. I benchmark esistenti non rappresentano questo scenario e si concentrano in gran parte su domande esplicite volte a ottenere informazioni. Presentiamo ReGround, un dataset su larga scala per collegare i commenti dei revisori alle evidenze, che mette in relazione 10.267 commenti dei revisori con 16.274 evidenze presenti nelle versioni originali anonime di 3.656 articoli. Il nostro lavoro si basa su una semplice osservazione: le repliche degli autori spesso contengono riferimenti espliciti ai contenuti della sottomissione usati per rispondere ai commenti dei revisori, offrendo una fonte di annotazioni ad alta precisione. Formuliamo il collegamento alle evidenze come un’attività di recupero e valutiamo un’ampia gamma di metodi di recupero. I risultati mostrano che il recupero basato sull’intero contenuto dell’articolo dà risultati scarsi, che l’inferenza sul tipo di evidenza rappresenta un ostacolo importante e che le evidenze multimodali forniscono segnali complementari che il solo testo non coglie. Il nostro dataset mette in luce come collegare i commenti dei revisori alle evidenze sia un problema difficile e di grande rilevanza pratica per la comprensione dei documenti scientifici.