Sci$Π$vot: un benchmark del giudizio dei responsabili scientifici nei momenti decisivi degli agenti di ricerca scientifica autonoma

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) possono portare avanti esperimenti scientifici per mesi con poca supervisione umana, ma una ricerca autonoma affidabile richiede anche capacità di giudizio scientifico. Valutare questa capacità è difficile perché le decisioni di ricerca sono aperte e dipendono dal contesto del progetto. Abbiamo costruito Sci$Π$vot, un benchmark di 248 casi basato sulle correzioni apportate da ricercatori. Il benchmark si fonda sulla documentazione di sei mesi di ricerca durante i quali ricercatori senior hanno impiegato agenti LLM in 26 progetti di sei discipline scientifiche, intervenendo ripetutamente per correggerne le valutazioni di ricerca. In ogni caso, un agente sceglie tra il piano originale dell’LLM e l’alternativa corretta dai ricercatori, usando come contesto soltanto la documentazione del progetto disponibile prima della correzione. Confrontiamo le prestazioni dei modelli LLM e dei ricercatori ed esaminiamo gli effetti dello sforzo di ragionamento, dell’accesso alla documentazione del progetto e del riesame della decisione. Con uno sforzo di ragionamento medio e accesso alla documentazione del progetto, i modelli preferiscono sistematicamente il piano originale dell’LLM all’alternativa corretta dai ricercatori. Quattro dei cinque modelli di frontiera ottengono, nei casi selezionati, risultati inferiori a quelli attesi da una scelta casuale. La massima accuratezza nella condizione con accesso alla documentazione del progetto, considerando i modelli e i livelli di sforzo di ragionamento testati, è del 63,5%, contro il 73,4% dei ricercatori coinvolti per la prima volta. Con uno sforzo medio, tutti i modelli raggiungono un’accuratezza inferiore quando hanno accesso alla documentazione del progetto rispetto a quando non vi hanno accesso, e il riesame della decisione non migliora sistematicamente l’accuratezza complessiva. Anche quando è disponibile un’alternativa corretta dai ricercatori, i modelli di frontiera incontrano difficoltà nelle decisioni di ricerca selezionate; Sci$Π$vot consente intanto di valutare sistematicamente la capacità di giudizio scientifico degli agenti LLM.