AutoSciBench: generazione autonoma di benchmark per la valutazione degli agenti scientifici

Abstract degli autori

Con la rapida evoluzione degli agenti, i benchmark esistenti possono saturarsi, perdendo la capacità di distinguere tra le loro competenze e di mettere in luce le modalità di errore ancora presenti. Negli ambiti scientifici, in particolare, creare e aggiornare i benchmark richiede molto tempo, lavoro e competenze specifiche, rendendo difficile mantenere la valutazione al passo con i progressi degli agenti. Affrontiamo questa sfida studiando se sia possibile generare automaticamente benchmark per agenti scientifici e adattarli in modo iterativo all’evolversi delle loro capacità. Presentiamo AutoSciBench, un framework che rappresenta ogni compito attraverso un concetto di alto livello, che specifica l’ambito scientifico, la modalità dei dati e il tipo di ragionamento richiesto, insieme a una procedura di basso livello che specifica come vengono costruiti e verificati il quesito, l’ambiente e la risposta corretta di riferimento. Gli agenti tentano di risolvere ogni compito, producendo traiettorie di risoluzione e il relativo feedback del valutatore. AutoSciBench usa questi elementi per rivedere la procedura o il concetto, eliminando le scorciatoie osservate e orientando i compiti verso il riesame dei dati grezzi, l’interpretazione dei risultati intermedi e l’integrazione delle evidenze. L’esperienza ricavata dalle traiettorie di perfezionamento completate guida inoltre la generazione di nuovi concetti, consentendo di applicare alla successiva costruzione dei benchmark quanto appreso nel perfezionamento dei compiti precedenti. Partendo da benchmark esistenti, valutiamo AutoSciBench nella biologia computazionale, nella scienza dei materiali e nell’imaging clinico. Rispetto ai benchmark curati da esseri umani, quelli generati riducono l’accuratezza media degli agenti risolutori di 22,4 punti percentuali nella biologia computazionale e di 25,5 punti percentuali nella scienza dei materiali. I compiti generati ricevono inoltre valutazioni medie della qualità più alte in tutti e tre gli ambiti, suggerendo che la valutazione degli agenti scientifici possa adattarsi ai progressi delle loro capacità.