The Pulse
Google Research presenta Harness² per agenti che riscrivono la propria configurazione
Google Research ha pubblicato Harness², un framework open source che consente agli agenti di IA di testare modifiche ai propri prompt, strumenti e altri componenti operativi senza cambiare i pesi del modello. Il relativo paper riporta migli
AI.info Team · Scritto con l’IA ·
Il tasso di superamento parziale di LAB è salito di 11,8 punti percentuali
Harness² ha migliorato i risultati fino a 11,8 punti percentuali su LAB, un benchmark per attività legali, secondo i ricercatori del progetto. Il dato riguarda il tasso di superamento parziale di LAB, non un aumento generale dell’accuratezza di un agente. Il paper riporta anche miglioramenti fino a 11,5 punti su WorkBuddy-Bench e 4,5 punti su JobBench.
Google Research ha reso disponibile il codice del framework in un repository pubblico. Il paper che lo accompagna, Harness²: Recursive Agent Harnessing for an Open World, è datato 9 ottobre 2026. Il sistema modifica il software che circonda un modello, anziché aggiornare il modello stesso.
Harness² modifica otto componenti attorno a un modello i cui pesi restano fissi
L’harness di un agente è il sistema circostante che ne determina il comportamento: prompt, strumenti, memoria, competenze e orchestrazione, tra gli altri componenti. Harness² rende modificabili otto componenti, tra cui guardrail, script, sottoagenti e plugin. Gli esperimenti utilizzano GLM-5 e Gemini 3.5 Flash mantenendone fissi i pesi.
Il framework esegue, per ciascuna attività, un ciclo chiamato Propose–Probe–Compose. Propone modifiche, le testa sulla stessa attività e combina quelle supportate dai confronti tra le esecuzioni, senza fare affidamento su una raccolta di risposte corrette di riferimento. Un secondo ciclo salva gli harness adottati e le lezioni apprese supportate da quei test, così che le attività successive possano attingere ai perfezionamenti precedenti.
«Presentiamo Harness^2, un framework plug-and-play di harnessing ricorsivo degli agenti che affronta queste sfide attraverso due livelli di ricorsione collegati».
Ruiyao Xu et al., Harness²: Recursive Agent Harnessing for an Open World
Gli utenti possono eseguire la ricorsione in parallelo, esplorando diversi candidati, oppure in sequenza, portando avanti una revisione attraverso passaggi successivi. Il repository supporta gli esecutori OpenCode e Codex e include flussi di lavoro per JobBench, LAB e WorkBuddy-Bench, che copre attività d’ufficio, sul web e di programmazione.
I miglioramenti nei benchmark non garantiscono risultati migliori a ogni esecuzione
Il paper riporta che un solo passaggio di miglioramento ha superato l’harness iniziale su tutti e tre i benchmark, in quattro configurazioni di modello e harness. Ulteriori passaggi ricorsivi hanno talvolta prodotto altri miglioramenti, ma non ogni passaggio aggiuntivo ha migliorato ogni risultato. Su WorkBuddy-Bench, per esempio, la ricorsione aggiuntiva ha alzato alcuni punteggi e ne ha abbassati altri.
Gli autori documentano anche casi in cui il sistema ha selezionato un candidato più debole o ha apportato una modifica che ha ristretto la copertura delle attività. In un esempio di programmazione su WorkBuddy-Bench, la selezione ha scelto un output con un punteggio di 55 anziché uno con un punteggio di 95; su LAB, un risultato di ambito più ristretto è sceso da 54 a 26. Questi casi mostrano perché le evidenze prodotte dalle esecuzioni del sistema non equivalgono a una verifica affidabile della correttezza.
Secondo il paper, il processo di feedback dipende dai contrasti tra i comportamenti e dal giudizio del modello, che possono risentire della variabilità delle esecuzioni e dei bias condivisi dai modelli. Gli autori avvertono che non è garantito che una modifica adottata sia corretta o sia applicabile a un’attività diversa. Le loro valutazioni coprono tre benchmark, non ogni tipo di attività che gli agenti potrebbero incontrare.
Le esecuzioni basate su modelli comportano costi ed esposizione alla rete
Il repository offre una demo locale che usa editor deterministici ed esecuzioni Python senza credenziali per i modelli. L’esecuzione dei benchmark basati su modelli richiede una configurazione aggiuntiva e il README avverte che comporta costi API. Il progetto è distribuito con licenza Apache 2.0, mentre il codice, i benchmark e i dataset di terze parti mantengono le rispettive licenze.
C’è anche un rischio per la valutazione: secondo il README, l’accesso alla rete degli esecutori non è soggetto a restrizioni e Codex viene eseguito con la sandbox disattivata. I criteri di valutazione dei benchmark pubblici potrebbero essere accessibili online, perciò il progetto invita gli utenti a configurare restrizioni di rete prima della valutazione, per impedire agli agenti di accedere alle risposte o ai criteri di attribuzione dei punteggi.
Il repository di Google precisa inoltre che Harness² non è un prodotto Google supportato ufficialmente. Per i team che sperimentano questo approccio, la domanda immediata è se le chiamate aggiuntive ai modelli e le modifiche all’harness producano miglioramenti che persistano anche in attività diverse dalle esecuzioni dei benchmark.