The Pulse
Google presenta ScientistTwo al COLM 2026
Il programma di Google al COLM 2026 prevedeva una dimostrazione dal vivo di ScientistTwo, un sistema multiagente progettato per condurre ricerche sull’apprendimento automatico dalla formulazione di un problema agli esperimenti e alla stesur
AI.info Team · Scritto con l’IA ·
ScientistTwo ha ottenuto miglioramenti in 86 dei 107 problemi di ricerca esaminati dai ricercatori di Google: un tasso di successo dell’80,4% che l’azienda ha presentato ai partecipanti al COLM 2026. Il programma di Google per la conferenza prevedeva una dimostrazione dal vivo di mezz’ora presso uno stand il 6 ottobre a San Francisco. Il sistema veniva descritto come capace di prendere un articolo scientifico, individuarne i limiti e produrre un nuovo articolo corredato di codice eseguibile.
Dai limiti di un articolo a una proposta verificata
Gli autori del sistema descrivono un processo che parte da un problema scientifico e da una sfida proposta da una persona. ScientistTwo stabilisce un punto di riferimento, genera ipotesi, mette alla prova le idee promettenti, conduce studi di ablazione per esaminare quali componenti contribuiscano ai miglioramenti e raccoglie i risultati in un manoscritto e in una base di codice. L’articolo descrive queste fasi come una collaborazione tra agenti di IA specializzati, senza intervento umano durante il ciclo di ricerca.
«In questo articolo presentiamo ScientistTwo, un framework multiagente completamente autonomo progettato per realizzare questa visione», scrivono Jaehyun Nam et al., autori di «ScientistTwo: Pioneering the Human Knowledge Frontier with Autonomous AI». Gli autori spiegano che il sistema ricorre anche a una revisione e a una replica simulate: agenti revisori criticano le bozze, mentre un agente incaricato della replica può condurre ulteriori esperimenti in risposta.
Che cosa significano gli 86 risultati positivi
La valutazione si basa su 107 problemi di ricerca tratti da articoli associati a ICLR, ICML e NeurIPS. Gli autori riferiscono che ScientistTwo ha fatto progredire la ricerca su 86 di essi e ha ottenuto un miglioramento relativo medio delle prestazioni del 25,2% rispetto ai metodi originali all’avanguardia ideati da ricercatori umani. Il dato dell’80,4% indica la quota dei problemi presi in esame su cui il sistema ha ottenuto progressi, non la quota di articoli accettati da quelle conferenze.
Per valutare la qualità dei manoscritti, il gruppo ha usato due sistemi di revisione automatica: ScholarPeer e lo Stanford Agentic Reviewer. Secondo le valutazioni di questi sistemi, gli articoli generati da ScientistTwo hanno ottenuto tassi di accettazione rispettivamente del 91,9% e del 72,1%. Sono giudizi automatizzati, non dati relativi ad accettazioni a ICLR, ICML o NeurIPS; l’articolo li confronta con i punteggi di articoli scritti da persone e accettati in quelle conferenze.
I cicli di ricerca costano circa 3.765 dollari
I miglioramenti dichiarati comportano un costo computazionale considerevole. Per un sottoinsieme di 33 problemi tratti da articoli di NeurIPS 2025, gli autori stimano in media da due a tre giorni per un ciclo di ricerca completo e un costo medio di 3.765 dollari, comprese le spese per i token e le macchine virtuali. Secondo gli autori, la maggior parte del tempo e dei costi è assorbita dal perfezionamento iterativo delle idee e dagli esperimenti.
Quel costo e quei tempi chiariscono meglio l’ambito pratico del sistema: ScientistTwo automatizza una lunga sequenza di attività, ma ogni esecuzione dipende comunque da risorse di calcolo e da benchmark che forniscono ai suoi agenti obiettivi misurabili. L’articolo descrive inoltre la valutazione principale come basata su sfide di ricerca tratte da articoli presentati a conferenze sull’apprendimento automatico, non come prova che il sistema possa scegliere e risolvere autonomamente qualsiasi problema scientifico.
Per gli autori, le grandi scoperte sono ancora fuori portata
I ricercatori affermano che i risultati non dimostrano ancora che ScientistTwo produca il tipo di lavoro concettuale che ottiene una presentazione spotlight o orale a una conferenza. Descrivono il suo attuale punto di forza come la capacità di migliorare metodi esistenti e indicano come prossima sfida di ricerca il superamento dei perfezionamenti algoritmici locali.
Al COLM, il programma di Google collocava la sessione dedicata a ScientistTwo allo stand 107 il 6 ottobre, accanto al più ampio calendario di interventi e dimostrazioni di ricerca dell’azienda. I risultati ottenuti dal sistema nei benchmark provengono dalla valutazione degli stessi autori; resta da verificare, separatamente, se i metodi proposti reggeranno a una revisione umana indipendente e potranno essere riprodotti.