Modello del mondo per agenti in contesti reali: sintesi di ambienti per agenti che usano il computer

Abstract degli autori

L’apprendimento degli agenti si sta spostando dall’uso di dati prodotti dagli esseri umani all’interazione con il mondo. Estendere questo tipo di apprendimento direttamente ai sistemi informatici reali è però difficile e può comportare notevoli rischi per la sicurezza. Proponiamo quindi Agent World Model in the Wild (WildAWM), una pipeline scalabile per sintetizzare ambienti e compiti controllabili con cui addestrare agenti generalisti capaci di usare il computer (CUA). Mentre gli approcci esistenti si specializzano di solito in un’unica interfaccia di interazione, noi costruiamo ambienti eseguibili che supportano congiuntamente interfacce grafiche, servizi del protocollo di contesto del modello e interfacce a riga di comando. Gli agenti possono così combinare con flessibilità interazione visiva, uso di strumenti ed esecuzione di codice. WildAWM si basa interamente su modelli open source e dimostra che è possibile generare ambienti di alta qualità per l’uso del computer senza ricorrere a modelli proprietari di frontiera. Oltre agli ambienti, affrontiamo tre difficoltà ricorrenti nella sintesi dei compiti: garantirne la risolvibilità, mantenerli sufficientemente difficili e produrre verificatori affidabili. A questo scopo introduciamo controlli di qualità basati sull’esecuzione che combinano rollout eterogenei degli agenti, verifiche di coerenza tra giudici e test controfattuali della robustezza dei giudizi. La pipeline risultante sintetizza 341 coppie ambiente-compito a lungo orizzonte, la cui risoluzione può richiedere oltre 100 passaggi da parte di un agente e che restano difficili anche per i modelli di frontiera: GPT-6-Astra ne risolve solo il 60%. Addestriamo due modelli Qwen di dimensioni diverse esclusivamente in questi mondi sintetici. Entrambi ottengono miglioramenti sostanziali su 8 benchmark fuori distribuzione relativi ad agenti per il web, claw e l’uso del computer. Questo dimostra che l’apprendimento nei mondi sintetizzati da WildAWM si generalizza ampiamente a compiti inediti che richiedono l’uso del computer. Il codice è disponibile pubblicamente all’indirizzo https://github.com/MSR-Orchard/WildAWM.