MULTI3IR: un benchmark per il recupero di informazioni multiprospettico, multidominio e multimodale

Abstract degli autori

Il recupero di informazioni (IR) si rivolge sempre più a query aperte che ammettono prospettive diverse. I benchmark di IR esistenti, tuttavia, si concentrano soprattutto su query a risposta chiusa; anche quelli dedicati alle query aperte comprendono in gran parte query i cui documenti di supporto appartengono a un solo ambito tematico e a una sola modalità. Presentiamo Multi$^3$IR, un benchmark che valuta quanto i sistemi di recupero riescano a coprire le molteplici prospettive delle query aperte attraverso domini e modalità diversi. Comprende 104,9K query di Stack Exchange, ciascuna corredata di descrizioni delle prospettive che ne colgono i punti di vista impliciti. Proponiamo inoltre SPIN, un metodo efficiente nell’uso di parametri ed etichette che apprende vettori di rumore per orientare gli embedding verso direzioni semantiche diverse ma significative. Gli esperimenti mostrano che i sistemi di recupero multimodale esistenti tendono a privilegiare una sola prospettiva, mentre SPIN migliora notevolmente la copertura delle prospettive su Multi$^3$IR e generalizza bene a benchmark di IR su query aperte non incontrati in precedenza. Il dataset e il codice degli esperimenti sono disponibili all’indirizzo https://github.com/seokwon99/Multi3IR.