RIDAR: tutelare l’integrità della ricerca negli agenti di ricerca autonomi mediante rilevamento automatico e interventi durante l’esecuzione

Abstract degli autori

Gli agenti di ricerca autonomi sono sempre più utilizzati per automatizzare ampie parti della ricerca scientifica, ma sono inclini a violazioni dell’integrità della ricerca (RIV): comportamenti che compromettono la validità, la riproducibilità o la fedeltà del processo di ricerca. Presentiamo RIDAR, un sistema per rilevare automaticamente le RIV e intervenire durante l’esecuzione. Per prima cosa, introduciamo RIVT, una tassonomia completa di 14 tipi di RIV che copre l’intero ciclo di vita della ricerca. Sulla base di RIVT, presentiamo RIDAR-post-hoc, un sistema per rilevare le RIV nelle traiettorie degli agenti. RIDAR-post-hoc raggiunge un punteggio F1 dell’85,2% su RIV-Gold, un benchmark per il rilevamento delle RIV composto da 60 traiettorie annotate da esperti. Applicando RIDAR-post-hoc a RIV-Wild, un dataset di 300 traiettorie di agenti relative a 50 distinte attività di ricerca, rileviamo 3.964 casi di RIV nel 99,7% delle traiettorie: un risultato che mostra quanto siano diffuse le RIV negli agenti attuali. Infine, presentiamo RIDAR-runtime, un sistema per rilevare e correggere dinamicamente le RIV durante l’esecuzione degli agenti. RIDAR-runtime riduce del 36,8% le RIV degli agenti ancora presenti al completamento dell’attività. Renderemo disponibili il nostro codice e i nostri dati per agevolare la ricerca futura.