Oltre la visione e la ricerca: un benchmark per gli agenti che producono report di ricerca approfondita incentrati sui video

Abstract degli autori

Gli agenti di ricerca approfondita sintetizzano le informazioni raccolte sul web aperto in lunghi report, ma i benchmark attuali non valutano le ricerche incentrate su un video di partenza. Introduciamo Video-Centered Deep Research Report Generation. A partire da un video e da una richiesta dell’utente, un agente individua le domande di ricerca, reperisce elementi di prova multimodali esterni e produce un report interattivo collegato ai momenti pertinenti del video. Questo compito ha un valore pratico diretto: aiuta gli utenti a trovare i momenti pertinenti, verificare le affermazioni, riprodurre le procedure mostrate e prendere decisioni informate sulla base dei contenuti del video. Presentiamo un flusso di lavoro basato sulle competenze e OmniDR-Bench per questo compito. Per la valutazione, proponiamo Omni Atomic Rubric Trees (Omni-ARTs). Ogni albero comprende tre dimensioni, 23 direttrici comuni e criteri atomici binari specifici per il compito. Le direttrici verificano l’ancoraggio ai contenuti audiovisivi, l’uso di elementi di prova multimodali e la presentazione interattiva. Audited Rubric Construction (ARC) costruisce questi alberi attraverso la raccolta indipendente di elementi di prova, controlli automatizzati, calibrazione del comportamento e revisioni umane iterative. OmniDR-Bench contiene 50 compiti in cinese e in inglese, distribuiti in 19 sottocategorie del mondo reale. Comprende 6.414 criteri. Tra 18 configurazioni di agenti, il sistema migliore ottiene 63,3 punti su 100. Gli agenti attuali hanno ancora bisogno di una copertura più ampia dei contenuti, di analisi causali e logiche più solide tra diverse modalità e di citazioni delle fonti più accurate. Analizziamo inoltre modelli, sistemi di esecuzione, configurazioni delle competenze, categorie di video e percorsi di ricerca. Il codice e i dati sono disponibili all’indirizzo https://github.com/marinero4972/OmniDR-Bench.