Verso l’ignoto: valutare gli agenti di IA su problemi aperti della ricerca scientifica tramite benchmark

Abstract degli autori

Gli agenti di IA sono in grado di condurre ricerche su problemi scientifici aperti? Presentiamo Into the Unknown, un benchmark che fornisce a un agente un articolo scientifico e una direzione di ricerca da seguire, chiedendogli di scrivere un articolo che prosegua il lavoro. Collaboriamo con scienziati dei laboratori nazionali del Dipartimento dell’Energia degli Stati Uniti (DOE): ciascuno propone una direzione di ricerca inedita che dà seguito a un proprio lavoro, insieme ai requisiti che un articolo deve soddisfare. Valutare la qualità di un articolo di questo tipo è in generale difficile, ma usare tali requisiti per costruire una griglia rende la valutazione più gestibile per problemi di ricerca privi di una risposta di riferimento. Chiediamo a nove agenti all’avanguardia di scrivere 15 articoli ciascuno, in ambiti che comprendono il calcolo quantistico, la fisica del plasma, la chimica computazionale, la scienza dei materiali e l’apprendimento automatico scientifico. Nessuno dei 135 articoli soddisfa tutti i requisiti e 114 non superano la nostra verifica dell’integrità, il più delle volte perché dichiarano attività mai svolte o riportano numeri in contraddizione con le evidenze documentate. Nel complesso, gli agenti producono facilmente articoli che sembrano dare seguito alla ricerca, ma nessuno raggiunge lo standard dello scienziato del settore: il margine di miglioramento resta ampio. Il nostro codice e i nostri dati sono disponibili pubblicamente.