The Pulse
Gli harness per agenti di programmazione possono triplicare i costi senza chiari miglioramenti nei punteggi
Uno studio su Claude Code, mini-SWE-agent e OpenCode ha rilevato che la scelta dell’harness può far variare fino a tre volte i costi di un agente di programmazione, mentre la maggior parte delle differenze nei punteggi rientra nella variabi
AI.info Team · Scritto con l’IA · verificato ·
Cambiare l’harness di un agente di programmazione può moltiplicare fino a tre volte il costo per compito senza produrre un chiaro miglioramento nella percentuale di successi, secondo uno studio pubblicato il 3 ottobre. I ricercatori hanno confrontato Claude Code, mini-SWE-agent e OpenCode mantenendo invariati il modello sottostante e i compiti di programmazione. Hanno rilevato che l’harness incide spesso sui costi in modo più sistematico di quanto incida sui compiti risolti dall’agente.
Tre harness, un benchmark
Yangze Liu e Zhongyi Han hanno testato cinque modelli su SWE-bench Verified, un benchmark basato su problemi reali segnalati su GitHub, e hanno ripetuto le esecuzioni delle stesse configurazioni per misurare quanto variassero i punteggi senza cambiare harness. La loro configurazione offline comprendeva 492 compiti: un sottoinsieme di 45 compiti appartenenti alle fasce di difficoltà più alte del benchmark e un gruppo di 447 compiti usato per misurare differenze più piccole. Claude Opus 5 è stato usato come ulteriore termine di confronto, ma solo all’interno di Claude Code.
I tre harness affiancano al modello prompt, strumenti e funzionalità di gestione del contesto differenti. Claude Code e OpenCode offrono strumenti tipizzati per i file e la compattazione automatica del contesto; mini-SWE-agent mette a disposizione del modello un unico strumento Bash e non gestisce il contesto. Il confronto riguarda quindi sistemi completi, del tipo usato in produzione, anziché una singola scelta progettuale isolata.
«Con lo stesso modello, gli stessi compiti e un unico listino prezzi, il costo per compito varia fino a 3× tra gli harness.»
Yangze Liu e Zhongyi Han, «Cosa offre un harness? Soprattutto token»
La maggior parte delle variazioni nei punteggi sembrava dovuta alla variabilità tra esecuzioni
Nei 45 compiti più difficili, cambiare harness ha modificato l’esito per una mediana del 13% dei compiti: la stessa quota per cui l’esito è cambiato quando i ricercatori hanno ripetuto l’esecuzione con il medesimo harness. Anche i successi ottenuti da un harness sugli stessi compiti non si sono ripetuti in modo affidabile in un’altra esecuzione. Nel gruppo più ampio, i punteggi di Claude Code e mini-SWE-agent sui due modelli testati differivano di non più di cinque punti percentuali.
Lo studio ha però riscontrato un calo misurabile: nel gruppo di 447 compiti, OpenCode è rimasto indietro fino a nove punti. Con Qwen3.8-27B, 33 prove di OpenCode si sono concluse quando il modello ha raggiunto un limite di output, contro una prova di Claude Code con lo stesso modello. Circa metà di quel divario nei punteggi è scomparsa quando i ricercatori hanno escluso le esecuzioni di OpenCode interrotte dal limite, un problema che hanno collegato al fatto che l’harness non chiedeva al modello di proseguire.
Il costo comincia dal primo prompt
I ricercatori hanno ricondotto gran parte della differenza di costo al materiale che un harness invia di nuovo a ogni chiamata al modello: il prompt di sistema, le descrizioni degli strumenti e la struttura dei messaggi. Hanno misurato in 16.581 token questo preambolo fisso per Claude Code, in 7.025 per OpenCode e in 829 per mini-SWE-agent. Gli output degli strumenti contribuivano molto meno al divario; contava anche il numero di passaggi compiuti da un modello, che poteva cambiare quale harness costasse meno per un dato modello.
I prezzi dei token di input memorizzati nella cache incidevano sull’entità dei costi, ma non modificavano la graduatoria degli harness per costo nei confronti dei ricercatori. La loro analisi individua tre fattori pratici che determinano i costi: i token inviati alla prima chiamata, la velocità con cui cresce l’input nelle chiamate successive e il numero di chiamate effettuate dall’agente. Un harness più leggero non comporta sempre un’esecuzione meno costosa se il modello compie più passaggi.
Per dimostrare piccoli miglioramenti nei punteggi servono test più ampi
Anche il numero di compiti limita ciò che il benchmark può stabilire. Dato il tasso di esiti discordanti tra esecuzioni, 45 compiti permettevano di rilevare una differenza di 13 punti solo in circa metà dei casi e non consentivano di rilevare neppure un divario nullo con una potenza statistica dell’80%. Il gruppo di 447 compiti permetteva di distinguere una differenza di circa cinque punti, comunque superiore a molti dei miglioramenti pubblicizzati per gli harness.
Gli autori avvertono che i risultati provengono principalmente da un solo benchmark; la loro verifica su Terminal-Bench 2.1 ha riguardato un solo modello. Non hanno inoltre potuto confrontare i tre harness usando Claude Opus 5, perché quel modello è stato eseguito soltanto in Claude Code. Resta da stabilire se differenze più piccole nei punteggi reggano su altri compiti di programmazione, o con modelli chiusi testati su tutti e tre gli harness.