Ricerca approfondita in ambienti web reali

Abstract degli autori

Nonostante i notevoli progressi degli agenti di Deep Search, la loro capacità di condurre ricerche dall’inizio alla fine negli ambienti aperti del Web reale resta insufficientemente valutata. A differenza dei contesti di recupero statico delle informazioni, nel Web reale le informazioni sono distribuite tra fonti, modalità e formati eterogenei e spesso richiedono meccanismi di interazione complessi: durante l’esecuzione, gli agenti devono cercare, consultare e integrare autonomamente le evidenze pertinenti. Per colmare questa lacuna, introduciamo il task OpenDS, progettato per valutare la capacità degli agenti di svolgere ricerche approfondite in più passaggi nel Web aperto in tempo reale. Il task richiede agli agenti di esplorare autonomamente il Web reale, individuare e collegare evidenze pertinenti provenienti da più fonti indipendenti mediante ricerche sul Web, interazioni con il browser ed elaborazione delle evidenze, e infine determinare un’unica risposta fattuale. Su questa base, realizziamo OpenDS-World, un benchmark composto da 200 task impegnativi che comprendono diverse modalità informative, formati di file eterogenei e requisiti di accesso interattivo. Una verifica umana indipendente garantisce la validità delle evidenze e l’unicità della risposta. Valutiamo 12 modelli all’avanguardia in un ambiente di strumenti e con un protocollo di esecuzione comuni. Il modello con i risultati migliori raggiunge un’accuratezza del 39,0%, mentre la valutazione umana su 1.000 tentativi indipendenti registra un’accuratezza del 21,1%. Ulteriori analisi dell’uso degli strumenti, del costo della ricerca, del comportamento di terminazione e del recupero dopo gli errori rivelano differenze sostanziali nelle strategie di ricerca dei modelli, oltre a difficoltà persistenti nel coordinamento degli strumenti e nella gestione di ricerche a lungo termine. OpenDS-World offre una piattaforma di valutazione unificata per esaminare sistematicamente e migliorare le capacità degli agenti di condurre autonomamente ricerche approfondite negli ambienti aperti del Web reale.