Ripensare la verifica negli harness per agenti

Abstract degli autori

Gli harness per agenti consentono ai modelli linguistici di grandi dimensioni di usare strumenti, osservare i risultati e procedere per iterazioni verso l’obiettivo di un compito. La verifica controlla e rivede il lavoro degli agenti per migliorare la qualità dei risultati. Tuttavia, le indicazioni su come gli harness dovrebbero organizzare questa attività sono limitate. Studiamo la verifica come dimensione dello scaling in fase di test, esaminando quando intervenire, chi controlla il lavoro e in che modo il controllo porta alla revisione. Il nostro quadro comprende quattro livelli del ciclo di attività dell’agente: istruzioni iniziali, promemoria durante il turno, gate di completamento e revisione indipendente. Confrontiamo 17 configurazioni su sette modelli di punta per la programmazione, usando Terminal-Bench (TB) e SWE-bench Verified (SWE), e presentiamo VisualBench per la valutazione, da parte di esperti, di artefatti visivi e interattivi. Nei benchmark di programmazione, le istruzioni iniziali e i promemoria durante l’esecuzione producono guadagni medi modesti, che dipendono dal modello, senza aumentare in misura sostanziale il numero medio di token in output. I gate di completamento possono produrre guadagni maggiori, ma anche aumentare notevolmente i costi. La revisione indipendente da parte di un critico offre un compromesso più favorevole tra accuratezza e costo: migliora l’accuratezza media di 5,9-9,5 punti percentuali su TB e di 3,9-6,6 su SWE, con costi pari rispettivamente a 1,13-1,25 e 1,00-1,04 volte il costo di riferimento. Su VisualBench, la revisione indipendente ottiene preferenze nette superiori al riferimento di 13,2-23,8 punti nelle sue quattro configurazioni, superando le configurazioni L0-L2 valutate. Ulteriori cicli di revisione o critici indipendenti migliorano ancora l’accuratezza media su TB, fino a 3,5 punti percentuali. Nel complesso, questi risultati offrono indicazioni empiriche per progettare la verifica negli harness per agenti e sostengono la revisione indipendente come dimensione praticabile dello scaling in fase di test.