Doc2Harness: un benchmark per valutare l’ingegneria degli harness per agenti di programmazione su compiti a lungo orizzonte

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni vengono impiegati sempre più spesso in compiti a lungo orizzonte, nei quali usano strumenti e modificano ambienti di lavoro reali. Le loro prestazioni dipendono tanto dall’harness che circonda il modello quanto dal modello stesso. I benchmark esistenti misurano il successo nei compiti finali con un harness fisso, lasciando inesplorata l’ingegneria degli harness. Proponiamo Doc2Harness, un benchmark in due fasi che valuta direttamente l’ingegneria degli harness per compiti a lungo orizzonte. Nella fase 1, un modello incaricato della costruzione, che opera all’interno di un harness di sviluppo fisso, riceve lo scheletro di un contratto che specifica soltanto l’interfaccia e un documento di sviluppo che riunisce le caratteristiche di funzionamento di dodici harness all’avanguardia; costruisce quindi un harness candidato completo in un container isolato. Nella fase 2, l’harness candidato, non più modificabile, viene eseguito in container separati dall’ambiente di costruzione, uno per caso di test, ed è guidato dall’inizio alla fine da un modello simulato che segue uno script. Valutiamo ogni caso di test attraverso quattro canali osservabili: le richieste inviate al modello, i file su disco, il codice di uscita del processo e l’output dei comandi; i controlli positivi escludono i superamenti privi di significato. Tra diciannove modelli all’avanguardia, ciascuno valutato con tre build indipendenti su 328 casi di test, GPT-6 Astra ottiene il tasso di superamento più alto, pari al 53,05%, mentre il modello più debole raggiunge il 27,44%: uno scarto di circa ventisei punti percentuali. Anche il modello più forte non supera quasi metà dei casi di test e gli insuccessi si concentrano sul modo in cui le funzionalità trasversali sono ripartite tra i moduli. Per quanto ne sappiamo, Doc2Harness è il primo benchmark deterministico per misurare l’ingegneria degli harness per compiti a lungo orizzonte.