HyperBrowseComp: uno stress test multilingue e multimodale per agenti di navigazione web

Abstract degli autori

Presentiamo HyperBrowseComp, un benchmark di navigazione web multilingue e multimodale composto da 423 domande formulate manualmente e validate da persone in 13 lingue, scritte da parlanti madrelingua o con un’elevata padronanza della lingua. Le domande sono concepite per essere estremamente difficili. Ciascuna richiede una risposta concisa e verificabile pubblicamente, per trovare la quale occorre individuare prove difficili da reperire, seguire catene di indizi in più passaggi o esaminare fonti eterogenee come video, documenti scansionati, immagini o mappe. Le domande più facili vengono escluse valutandole con modelli privi di accesso a Internet, per ridurre la probabilità che sia possibile rispondere basandosi soltanto sulla conoscenza parametrica. Valutiamo diversi modelli usando la ricerca nativa dei rispettivi fornitori e un’infrastruttura condivisa di recupero esterno, secondo un protocollo comune per gli agenti. Per contestualizzare le prestazioni dei modelli e l’impegno richiesto, conduciamo anche una valutazione umana su un campione di domande. HyperBrowseComp offre un banco di prova impegnativo per la ricerca perseverante di informazioni tra lingue e modalità delle prove diverse, con una difficoltà che deriva dall’individuare e collegare prove sul web aperto.