Il tuo benchmark a orizzonte lungo è davvero profondo? misurare e sintetizzare la profondità nelle attività da terminale

Abstract degli autori

Le attività da terminale a lungo orizzonte vengono usate per valutare e addestrare gli agenti. I dataset curati da esseri umani sono scarsi, perciò sono emersi molti metodi di sintesi. Di solito misurano la lunghezza di un’attività in base ai turni di cui un modello ha bisogno per completarla, e la difficoltà in base alle etichette assegnate dall’LLM durante la generazione. Tuttavia, osserviamo che il numero di turni riflette in larga misura le abitudini del modello, non soltanto le esigenze dell’attività, e che le etichette sono scarsamente correlate alla frequenza con cui i modelli riescono a completarla. Descriviamo un’attività da terminale attraverso il suo lavoro, ossia il numero di operazioni richieste, e la sua profondità, ossia il numero di turni che devono svolgersi in sequenza perché i comandi di ciascun turno possano essere scelti solo dopo aver letto l’output del turno precedente. Stimando la profondità come il limite minimo di turni, comunicato all’agente, entro il quale l’attività viene completata, analizziamo 734 attività provenienti da sei dataset esistenti. La sintesi ha aggiunto soprattutto lavoro, non profondità: il 94% delle attività sintetiche completate richiede al massimo tre turni, eppure la profondità, a differenza del numero di turni, predice la difficoltà anche al di là del lavoro richiesto. Proponiamo DEPTH, in cui un agente di generazione scrive ogni attività un segmento alla volta in un ambiente software reale, eseguendo ciascun segmento prima di scriverlo e iniziando il successivo dallo stato che lascia. Le nostre 105 attività superano tutti i dataset analizzati sia per profondità sia per lavoro, e nessuno dei sei modelli attuali ne completa la metà. Il fine-tuning di Qwen3-8B su esecuzioni di queste attività ne migliora le prestazioni su due benchmark da terminale.