VisSearch-Bench: valutazione della ricerca visiva su orizzonti estesi negli agenti multimodali

Abstract degli autori

Gli agenti multimodali usano strumenti web e per immagini per rispondere a domande che vanno oltre le loro conoscenze interne. Alcune attività di ricerca usano le immagini soprattutto per identificare un’entità iniziale, per poi basarsi sul recupero di informazioni testuali. Queste attività offrono pochi elementi per capire come gli agenti colleghino informazioni provenienti da immagini, oggetti e fasi di ricerca. Ci concentriamo quindi sulla gestione del contesto visivo, che consiste nell’organizzare e usare le informazioni visive e nel collegarle ad altri risultati durante la ricerca. Le attività ad alta intensità visiva richiedono agli agenti di combinare l’aspetto degli oggetti, i dettagli locali o le relazioni spaziali con informazioni esterne. Presentiamo VisSearch-Bench, composto da 204 attività scritte da esseri umani, distribuite in 7 domini principali e 25 sottodomini. Il benchmark comprende la ricerca visiva per insiemi, la ricerca visiva sequenziale, la ricerca ibrida ampia e approfondita, la disambiguazione visiva competitiva e la ricerca guidata dalla struttura visiva. Ogni attività include una risposta di riferimento, prove verificabili e criteri di valutazione. L’accuratezza misura il completamento integrale dell’attività, mentre il Process Score misura la correttezza e la completezza dei singoli risultati e delle risposte alle sotto-domande. Su 16 modelli multimodali, il sistema migliore completa interamente solo il 26,47% delle attività, anche con strumenti di ricerca. Questi risultati mettono in luce la difficoltà di collegare le prove visive ai risultati della ricerca per formulare risposte complete.