Ricerca approfondita incrementale a tema aperto con Structured Harness

Abstract degli autori

I sistemi esistenti di Open-Ended Deep Research (OEDR) generano principalmente report da zero e sono quindi inefficienti quando i report di ricerca devono essere aggiornati continuamente con l’emergere di nuove informazioni. Presentiamo \textbf{Incremental Open-Ended Deep Research (Incremental-OEDR)}, un’impostazione di ricerca che considera il report uno stato di ricerca in evoluzione e lo aggiorna in modo incrementale, conservando le conoscenze ancora valide, rivedendo i contenuti obsoleti o incompleti e integrando le nuove informazioni disponibili. A sostegno di questa impostazione proponiamo \textbf{Structured Harness}, che rappresenta i report come raccolte strutturate di scalette, sezioni ed evidenze a supporto, e offre recupero strutturato delle informazioni, un archivio strutturato e persistente delle evidenze e generazione strutturata, così da aggiornare selettivamente i report e riutilizzare le evidenze. Definiamo inoltre un quadro di valutazione temporale che copre dieci anni, con \emph{Single-Step Task} e \emph{Long-Chain Task} per valutare gli aggiornamenti incrementali sia nelle singole transizioni sia nelle lunghe catene di aggiornamenti. Esperimenti approfonditi su DeepResearch Bench e DeepConsult, condotti sia con Open-source Configuration (OC) sia con Proprietary Configuration (PC), mostrano che Incremental-OEDR mantiene una qualità dei report competitiva, migliorandone sostanzialmente la continuità e riducendo i costi della ricerca. Come mostra la Figura~\ref{fig:profile}, su DeepResearch Bench ottiene, rispetto a OEDR, un punteggio ROUGE-L F1 a livello di contenuto superiore fino a 0,51, un punteggio EM F1 a livello di scaletta superiore fino a 0,63, un consumo di token inferiore del 33\% e un numero di chiamate di ricerca inferiore del 61\%. Per maggiori dettagli, si rimanda alla pagina del progetto: https://ioedr-project.github.io/.