Addestrare l’intero agente, non solo il modello

Abstract degli autori

Nell’addestramento degli agenti di programmazione, di norma si aggiorna la policy mantenendo fisso l’harness. Durante l’addestramento, le traiettorie rivelano strategie di correzione difettose e problemi di interazione che variano da un compito all’altro e cambiano man mano che la policy apprende. Presentiamo HarnessAdapt-RL, che addestra la policy e ne adatta l’harness durante l’apprendimento per rinforzo. Per le strategie di correzione difettose, un modello insegnante non aggiornato genera skill specifiche per ciascun compito, a livello di meccanismo. Per i problemi di interazione che ricorrono in più compiti, un modello insegnante distinto fa evolvere strumenti e hook, mantenendo ogni modifica solo se migliora il tasso di superamento osservato o il tasso di addestrabilità osservato, senza ridurre nessuno dei due. La policy viene addestrata con l’harness adattato e le nuove traiettorie guidano ulteriori adattamenti. Con un modello di base 9B, HarnessAdapt-RL migliora il pass@1 rispetto a GRPO di 9,8, 12,6 e 6,4 punti percentuali su SWE-bench Verified, Multilingual e Pro, e supera GRPO con l’harness OpenHands progettato da esseri umani. I miglioramenti dovuti alle skill a livello di meccanismo persistono anche dopo la loro rimozione in fase di valutazione. Far evolvere nuovamente strumenti e hook al cambiare della policy dà risultati migliori che mantenere fisse le prime versioni. Rimuoverli al momento del deployment, invece, costa fino a 7,7 punti percentuali. L’addestramento produce quindi una coppia modello-harness: la policy addestrata e gli strumenti e gli hook evoluti, con le skill rimosse al momento del deployment.