StarHarness: evoluzione degli harness con ricerca stratificata per ambienti aziendali

Abstract degli autori

Presentiamo StarHarness, un framework per far evolvere gli harness degli agenti specifici per ciascun ambiente, mantenendo invariati i pesi del modello. L’harness risultante può comprendere la formulazione del prompt e l’inquadramento del task, le interfacce degli strumenti, le skill, i provider basati su MCP, la struttura dei sottoagenti e la configurazione del ciclo dell’agente. StarHarness costruisce un pool compatto per l’evoluzione stratificando i task in base al comportamento in caso di errore della configurazione di base, separa i task di ricerca visibili al proponente da quelli di selezione a lui nascosti e riserva task non utilizzati nelle fasi precedenti alla valutazione della generalizzazione. Su ITBench SRE, EnterpriseOps-Gym ITSM e AutomationBench Finance, l’evoluzione dell’harness migliora le prestazioni sull’intero benchmark di 20-35 punti percentuali rispetto all’harness predefinito, dopo 4-12 modifiche accettate per ambiente. Questi miglioramenti persistono nei task esclusi dall’evoluzione e si trasferiscono tra le famiglie di modelli GPT e Qwen senza una nuova evoluzione. L’analisi delle tracce collega i miglioramenti alle correzioni delle interfacce, alle convenzioni degli ambienti e alle conoscenze operative che restringono la ricerca, con meno diagnosi falsamente positive e traiettorie più brevi in diversi contesti. StarHarness offre quindi un modo pratico per ridurre il persistente disallineamento tra modello e ambiente nei task aziendali che richiedono numerosi strumenti.