Gli agenti di IA possono fare scoperte scientifiche a carattere aperto? Le evidenze emerse da Station

Abstract degli autori

I recenti sistemi di IA hanno compiuto rapidi progressi nella scoperta scientifica quando vengono loro fornite metriche ben definite, ma non è ancora chiaro se possano condurre autonomamente ricerche scientifiche a carattere aperto. Studiamo la capacità dell’IA di affrontare compiti a carattere aperto in Station, un ambiente a mondo aperto in cui più agenti simulano un ecosistema scientifico. Per affrontare le difficoltà specifiche di questi compiti, proponiamo di integrare Station con due meccanismi: un meccanismo Supervisor e una Meta Reflection periodica, che favoriscono un’esplorazione persistente anche in assenza di metriche intermedie. Costruiamo compiti a carattere aperto a partire da tre articoli recenti presentati oralmente all’ICLR. Forniamo agli agenti la principale domanda di ricerca affrontata in ciascun articolo, senza rivelarne i risultati e disabilitando l’accesso al web. Misuriamo poi quanti dei risultati originali, suddivisi in singoli criteri, vengono riscoperti dagli agenti. Riscontriamo che Station riscopre in media il 62,7% dei criteri, contro il 15,4% di Codex Multiagent-v2 e il 14,4–20,6% di AI Scientist-v2. Le analisi delle varianti prive dei due meccanismi e del comportamento degli agenti indicano che l’aggiunta congiunta dei due meccanismi migliora l’ampiezza e la continuità della ricerca. Valutiamo inoltre Station su due compiti a carattere aperto senza articoli di riferimento e riscontriamo che alcune scoperte compiute dagli agenti corrispondono da vicino a scoperte riportate dai ricercatori dopo la data limite delle conoscenze. Nel complesso, questi risultati indicano che un ambiente adatto può consentire agli agenti di compiere autonomamente progressi significativi nella scoperta scientifica a carattere aperto.