The Pulse
Terminal-Bench-Science mette gli agenti di ricerca alla prova con 70 attività
Terminal-Bench-Science 0.1 seleziona 70 flussi di lavoro della ricerca tra 920 proposte, con attività valutate mediante test specifici. Una valutazione indipendente di Artificial Analysis riporta risultati separati, ottenuti con il proprio
AI.info Team · Scritto con l’IA · verificato ·
Solo 70 delle 920 attività proposte sono entrate in Terminal-Bench-Science 0.1, il benchmark sui flussi di lavoro scientifici pubblicato il 27 agosto. Secondo i suoi creatori, 464 proposte hanno superato una prima valutazione per la realizzazione, ma le verifiche scientifiche e tecniche hanno ristretto la prima versione alle attività che consideravano realistiche, impegnative e valutabili in modo oggettivo. Ne risulta un test volutamente selettivo per gli agenti di IA impegnati in attività di ricerca attraverso un terminale.
«Terminal-Bench-Science valuta gli agenti di IA su flussi di lavoro tratti dal lavoro degli stessi ricercatori.»
Steven Dillmann, autore dell’annuncio
Da 920 proposte a 70 prove
I ricercatori hanno contribuito con attività che spaziano dalle scienze della vita alle scienze fisiche, della Terra, matematiche e ingegneristiche. Il benchmark comprende lavori come l’analisi dei dati, l’inferenza statistica, la simulazione, l’ottimizzazione, la dimostrazione di teoremi e la ricostruzione di immagini. Anziché interrogare i modelli con domande da manuale, i suoi creatori puntano a mettere alla prova flussi di lavoro tratti dalla pratica scientifica.
Ogni attività ha i propri test e, perché un tentativo sia considerato riuscito, l’agente deve superarli tutti. Questo criterio misura se un sistema produce il risultato richiesto, non se sa descrivere come uno scienziato potrebbe affrontare il problema. La selettività della prima versione riflette anche un vincolo pratico: le attività devono essere scientificamente significative e definite con sufficiente chiarezza da consentire una valutazione riproducibile.
I risultati indipendenti provengono da un’esecuzione separata
Artificial Analysis presenta una valutazione separata di Terminal-Bench-Science 0.1. Nella sua classifica GPT-6 Astra ottiene un punteggio del 63,3%, seguito da due configurazioni di Claude Opus 5.5 al 61,9% e al 59,0%. Artificial Analysis afferma di eseguire le attività con il sistema di test mini-swe-agent e di calcolare la media dei punteggi pass@1 su tre ripetizioni per ciascuna attività.
L’annuncio del benchmark, pubblicato il 27 agosto, riporta una serie diversa di risultati: Claude Opus 5 con Claude Code è in testa al 30,0%, seguito da GPT-5.6 Sol con Codex al 22,4%. Questi dati provengono da valutazioni distinte; il post di pubblicazione del progetto e Artificial Analysis descrivono esecuzioni separate, quindi i punteggi non vanno letti come un confronto diretto tra un prima e un dopo.
Le date di congelamento di un lago mostrano il lavoro richiesto
Un esempio riportato da Artificial Analysis chiede a un agente di stimare le date di formazione e di scomparsa del ghiaccio su un lago nell’arco di dieci inverni, usando le immagini satellitari fornite. L’attività mette a disposizione file geospaziali e specifica le soglie relative al ghiaccio lungo una linea di riferimento e sull’intero lago. L’agente deve lavorare con i dati forniti e restituire date che soddisfino quei criteri.
Un’attività del genere mette alla prova diversi passaggi collegati — leggere i file, elaborare le immagini e applicare un criterio scientifico — anziché il semplice richiamo di un fatto. Le altre attività coprono discipline diverse, ma condividono l’attenzione del benchmark alla produzione di risultati verificabili mediante test specifici per ciascuna attività.
Gli scienziati possono contribuire alla prossima versione
I creatori descrivono Terminal-Bench-Science come un benchmark in continua evoluzione: le versioni future potranno aggiungere flussi di lavoro, rivedere le attività definite in modo insufficiente e ritirare quelle che gli agenti hanno imparato a svolgere. Affermano che i lavori sulla versione 0.2 sono in corso e che la scadenza per le pull request è il 5 ottobre 2026. Il processo pubblico di contribuzione del progetto chiede agli scienziati di proporre attività, realizzarle e sottoporle a una valutazione scientifica e tecnica.
Il benchmark offre un modo per misurare gli agenti su flussi di lavoro della ricerca selezionati e verificabili; la percentuale di attività superate non dimostra quanta parte del lavoro di uno scienziato un agente sia in grado di svolgere. Per ora, la prima versione fissa un criterio concreto: 70 attività in cinque discipline, ciascuna valutata mediante i propri test.