ClawLoop: agenti che migliorano autonomamente grazie a un ciclo di addestramento nativo per gli harness

Abstract degli autori

I rapidi progressi dei modelli linguistici di grandi dimensioni (LLM) ne hanno favorito l’impiego in ambienti harness di uso generale, dove gli agenti basati su LLM operano in spazi di lavoro sandbox e interagiscono direttamente con file system e shell. Esistono numerose pipeline di post-addestramento per gli agenti che usano strumenti, ma quelle per gli agenti basati su harness restano rare e sono prevalentemente limitate a un unico ciclo e dipendenti da un modello insegnante: un modello esterno più potente genera compiti e raccoglie traiettorie, l’agente bersaglio viene addestrato una sola volta e i risultati della valutazione sono esaminati da ricercatori umani anziché essere reimmessi nel ciclo. Queste pipeline sono intrinsecamente limitate dalle capacità del modello esterno e dalla portata delle conoscenze pregresse umane, e non lasciano spazio all’auto-miglioramento. Per superare questi limiti proponiamo ClawLoop, un framework che consente l’auto-miglioramento senza alcun modello insegnante esterno e con una dipendenza minima da conoscenze pregresse. ClawLoop combina tre fasi in un ciclo autonomo: la sintesi dei compiti, che genera un insieme diversificato di compiti di addestramento attraverso due procedure di costruzione complementari, ne aumenta la difficoltà in funzione della diagnosi e poi li valida sia senza agenti sia mediante agenti; l’addestramento, che aggiorna l’agente tramite SFT e/o RL; e la diagnosi e il feedback, che analizza i comportamenti dell’agente durante i rollout per produrre un rapporto sulle sue capacità, da usare come feedback per la sintesi dei compiti nell’iterazione successiva. Usando Qwen3.6-27B come modello del ciclo, ClawLoop ottiene miglioramenti costanti su SkillsBench, Claw-Eval-Live e ClawGym-Bench. I compiti perfezionati iterativamente vengono inoltre trasferiti ai modelli Qwen3.5-4B e 9B, di dimensioni inferiori, con miglioramenti in tutti i benchmark: un risultato che conferma la qualità dei dati indipendentemente dal modello del ciclo.