The Pulse
LHTB 2.0 dà agli agenti di IA tre ore per completare 77 task
Un articolo pubblicato su arXiv il 9 ottobre presenta Long-Horizon-Terminal-Bench 2.0, un benchmark di 77 task che segue i progressi degli agenti durante sessioni di tre ore. Tra 15 modelli, il sistema migliore raggiunge la soglia di quasi
AI.info Team · Scritto con l’IA ·
Solo 192 delle 1.145 esecuzioni valutate, pari al 16,8%, hanno superato la prova in un nuovo test in cui gli agenti di IA avevano fino a tre ore per completare workflow articolati. Il benchmark, Long-Horizon-Terminal-Bench 2.0 (LHTB 2.0), valuta non solo se un agente porta a termine il compito, ma anche quanti progressi verificabili compie lungo il percorso. L’articolo è stato pubblicato su arXiv il 9 ottobre da un gruppo di 17 autori.
Tre ore, con verifiche ogni 30 minuti
LHTB 2.0 amplia il benchmark precedente da 46 a 77 task da svolgere tramite terminale, distribuiti in 13 ambiti e otto tipologie. La raccolta comprende riparazione di software, analisi scientifica, giochi, workflow professionali e task che chiedono agli agenti di riprodurre il comportamento di strumenti scientifici o ingegneristici sconosciuti. Gli agenti operano in ambienti containerizzati, dove possono esaminare file, modificare codice ed eseguire comandi per raggiungere l’obiettivo indicato dal task.
Il tempo massimo a disposizione è di tre ore, rispetto ai 90 minuti precedenti, con verifiche ogni 30 minuti. Ogni verifica registra se il lavoro è avanzato, si è fermato o ha perso terreno; il test può quindi distinguere un’esecuzione quasi conclusa da una che ha fatto pochi progressi, anche se nessuna delle due raggiunge la soglia finale per superare la prova.
«Nei 30 task di ricostruzione, i punteggi binari del verificatore sono in media pari a 0,221, mentre quelli della scala granulare sono in media pari a 0,653: questo mostra che una valutazione basata solo sul risultato finale trascura una parte sostanziale dei progressi intermedi».
Zongxia Li e altri, autori di «Long-Horizon-Terminal-Bench 2.0»
GPT-6-astra è in testa, ma non completa più della metà dei task
Il gruppo ha valutato 15 modelli in 1.145 esecuzioni modello-task a cui è stato assegnato un punteggio. GPT-6-astra ottiene la ricompensa granulare media più alta, pari a 0,69, e raggiunge la soglia di quasi completamento di 0,95 in 37 task su 77. Il suo tasso di quasi completamento è quindi del 48,1%; quello di completamento esatto è più basso, al 42,9%. GPT-5.6-sol si colloca al secondo posto, con una ricompensa granulare media di 0,67 e 32 task in cui raggiunge o supera la soglia di quasi completamento.
La classifica generale nasconde differenze tra le categorie di task. GPT-6-astra è in testa nei 30 task di ricostruzione, in cui raggiunge una ricompensa media di 0,93 e la soglia di quasi completamento in 24 task. Nei 47 task relativi ai workflow resi disponibili, GPT-5.6-sol è leggermente avanti, con una ricompensa media di 0,57 contro lo 0,54 di GPT-6-astra.
Più tempo cambia alcuni risultati, e il conto
Le esecuzioni più lunghe contano per i modelli che risolvono i task lentamente. Nell’intero benchmark, il 42% delle esecuzioni riuscite supera per la prima volta la soglia di quasi completamento dopo un’ora, e il 21% lo fa dopo due ore. Secondo l’articolo, un limite di un’ora avrebbe fatto scendere Hunyuan hy4 dal quarto al nono posto e DeepSeek V4 Pro dall’ottavo al 13º.
Il tempo aggiuntivo comporta anche un costo misurabile. Gli autori stimano una media di 48,41 dollari per task tra i modelli, sulla base del numero di token e dei prezzi di listino pubblici. La loro stima colloca GPT-6-astra a 397,16 dollari per task, contro i 67,60 dollari di GPT-5.6-sol; l’articolo precisa che le cifre non includono gli sconti legati alla cache dei prompt. Tra l’83% e il 99% della spesa di ciascun modello è andato a task che non ha risolto.
I task di ricostruzione mettono alla prova le capacità di inferenza degli agenti
Trenta dei 31 nuovi task usano un metodo di ricostruzione: un artefatto scientifico o ingegneristico funzionante viene parametrizzato per generare scenari, alcuni dei quali sono mostrati all’agente mentre altri vengono tenuti da parte per la valutazione. L’agente deve inferire il comportamento dell’artefatto dagli esempi e poi implementare una soluzione che si generalizzi ai casi non visti. Una scala granulare dei progressi assegna punti per i traguardi intermedi, anziché considerare ogni esecuzione incompleta come priva di risultati.
I ricercatori descrivono anche modifiche pensate per rendere più affidabili i punteggi. Hanno corretto difetti nei task e nell’infrastruttura di valutazione, isolato le esecuzioni del verificatore dall’agente attivo e controllato che le traiettorie riuscite non avessero avuto accesso ai materiali di test nascosti. Anche con queste misure e con un punteggio che riconosce i progressi parziali, solo il 16,8% di tutte le esecuzioni valutate supera la prova.