ScholarCatalyst: un benchmark per trovare articoli che ispirano nuove ricerche

Abstract degli autori

Che cosa fa di uno scienziato un grande scienziato? Anche se i sistemi di IA iniziano a compiere progressi su problemi aperti, gli scienziati restano molto più capaci di intuire di quale idea precedente, sepolta in un archivio di ricerche in continua crescita, abbia bisogno un nuovo problema. Per studiare questa capacità, ci rivolgiamo a ricercatori che sanno per esperienza diretta quali lavori precedenti hanno fatto progredire i progetti che hanno portato a termine, usando gli articoli come riferimenti alle idee che contengono. Grazie alla nostra procedura automatizzata, che rende possibile raccogliere le annotazioni degli autori su larga scala, creiamo ScholarCatalyst chiedendo a 184 autori principali di 207 recenti articoli di informatica di indicare quali articoli candidati abbiano fatto progredire o avrebbero potuto far progredire il loro progetto, fornendo per ciascuno una motivazione dettagliata. Introduciamo un compito di recupero basato sulle valutazioni degli autori: data una domanda di ricerca iniziale, individuare questi articoli attingendo soltanto alla letteratura disponibile quando il progetto è iniziato. La ricerca agentica non ottiene risultati migliori del recupero basato su embedding (0,42 contro 0,48 Recall@20), pur utilizzando come strumento lo stesso sistema di recupero. Persino un agente basato su Claude Fable 5.1, che potrebbe aver visto gli articoli completati durante l’addestramento, raggiunge soltanto 0,51 R@20. Questi risultati evidenziano la necessità di nuove strategie di addestramento che dotino i modelli dell’intuito degli esperti nella ricerca in ampi corpora. Consideriamo ScholarCatalyst un passo verso agenti scientifici capaci di partire da un’idea ancora abbozzata e indicare le ricerche precedenti di cui ha bisogno.