WorkRover: addestrare su larga scala agenti collaborativi su orizzonti lunghi tramite l’evoluzione ricorsiva degli ambienti

Abstract degli autori

Ampliare la disponibilità di ambienti interattivi è importante per addestrare tramite apprendimento per rinforzo agenti che operano su orizzonti lunghi. Dopo la generazione iniziale, questi ambienti richiedono spesso ulteriori test e perfezionamenti; correggere i difetti di un compito può inoltre richiedere di aggiornare il suo contesto di lavoro e il suo verificatore. Le procedure di costruzione esistenti, tuttavia, offrono un supporto limitato a questo perfezionamento iterativo, mantenendo al tempo stesso allineati i diversi componenti. Presentiamo WorkRover, un framework per addestrare agenti collaborativi su orizzonti lunghi attraverso l’evoluzione ricorsiva degli ambienti. La sua sintesi guidata da un’infrastruttura di esecuzione consente agli agenti incaricati della costruzione di creare e validare congiuntamente contesti di lavoro, compiti eseguibili e verificatori fondati su evidenze, semanticamente allineati tra loro, adattando le proprie azioni allo stato dello spazio di lavoro e al feedback dell’esecuzione anziché seguire una procedura di costruzione fissa. Per favorire l’evoluzione degli ambienti, introduciamo Factorial Compatibility Replay (FCR), che usa il feedback dei rollout per valutare combinazioni di revisioni dei componenti tramite un replay chiuso rispetto alle dipendenze e seleziona, tra le candidate testate, la correzione validata più piccola, preservando i requisiti del compito e i vincoli di valutazione. Per fornire segnali di addestramento più granulari, proponiamo Verifier-to-Turn Credit Assignment (VTCA), che integra i valori di vantaggio GRPO a livello di traiettoria con segnali provenienti da verifiche deterministiche dell’avanzamento nello spazio di lavoro e assegna ai turni necessari per i passaggi successivi una quota limitata del credito per i progressi positivi, usando le dipendenze registrate relative agli output degli strumenti e agli artefatti. Con WorkRover, sottoponiamo Qwen3.5-35B-A3B a un ulteriore addestramento per ottenere WorkRover-35B-A3B e lo valutiamo su diversi benchmark per agenti collaborativi. I punteggi riportati per il modello superano quelli di Qwen3.5-35B-A3B di 26,27 punti percentuali su JobBench, 29,32 punti percentuali su OfficeQA Pro e 413,25 punti Elo su GDPval v2. Questi risultati suggeriscono che WorkRover offre una base promettente per addestrare su larga scala agenti collaborativi su orizzonti lunghi.