Automatizzare il ML per la scienza: gli agenti all’avanguardia riescono a scalare le colline scientifiche nel mondo reale?

Abstract degli autori

Gli agenti di programmazione all’avanguardia vengono sempre più spesso presentati come ricercatori automatizzati capaci di seguire un progetto dall’inizio alla fine. Il ML per la scienza mette questa promessa a dura prova: migliorare un modello scientifico richiede spesso una conoscenza del settore che va oltre la normale ingegneria del ML. Presentiamo Agent4Sci, un banco di prova a lungo termine per misurare fino a che punto gli agenti odierni riescano a migliorare i migliori modelli pubblicati nei benchmark di ML scientifico, con 20 benchmark in 11 ambiti. Anziché classificare gli agenti in una graduatoria, Agent4Sci esamina quali progressi possano compiere in queste attività in condizioni reali e dove incontrino i propri limiti. Nei test, gli agenti all’avanguardia di oggi migliorano il miglior risultato pubblicato in ogni benchmark: Claude Opus raggiunge un miglioramento relativo medio del 10,4% e nessuna esecuzione viene segnalata per scorrettezza accademica. Questi progressi, tuttavia, derivano quasi interamente da un insieme di espedienti di ingegneria del ML, più che da intuizioni di livello scientifico. L’analisi delle traiettorie mette in luce tre limiti ricorrenti in questo contesto: una valutazione mal calibrata della novità, uno sfruttamento insufficiente delle risorse e un rapido ripiegamento su esplorazioni sistematiche di soluzioni ingegneristiche locali. Capacità modulari leggere per l’ideazione della ricerca, la gestione degli esperimenti e le liste di controllo programmate portano Claude Opus dal 10,4% al 20,1% e Codex dal 4,4% all’8,1%, producendo al contempo interventi più diversificati e pertinenti ai rispettivi ambiti. Agent4Sci offre alla comunità uno strumento per monitorare e spingere gli agenti all’avanguardia dall’ingegneria del ML verso una comprensione dei rispettivi ambiti nei problemi reali di ML per la scienza. Il codice e i dati sono disponibili su GitHub (https://github.com/maszhongming/agent4sci) e Hugging Face (https://huggingface.co/datasets/MingZhong/agent4sci).