OS-Helix: unificare l’interazione con la GUI e l’esecuzione di codice negli agenti nativi che usano il computer

Abstract degli autori

L’automazione reale del desktop non è né puramente visiva né puramente programmatica. Gli agenti devono comprendere le interfacce rivolte agli utenti e, al tempo stesso, manipolare con efficienza file, script e stato del sistema. Tuttavia, il coordinamento nativo tra GUI e codice non si ottiene combinando strumenti a livello di prompt. Nei nostri esperimenti preliminari, la semplice aggiunta di uno strumento per il codice peggiora le prestazioni di un agente GUI: questo indica che la scelta tra GUI e codice deve essere appresa attraverso l’addestramento su dati ibridi di alta qualità. Presentiamo OS-Helix, un agente multimodale che usa il computer, addestrato end-to-end, che riunisce le azioni sulla GUI e l’esecuzione di codice in un unico spazio delle azioni. Per costruire i dati necessari all’addestramento supervisionato, introduciamo una composizione di applicazioni e artefatti: abbiniamo applicazioni desktop ad artefatti autentici sotto forma di file per creare stati Ubuntu eseguibili. Introduciamo inoltre una pipeline disaccoppiata per la generazione di istruzioni e valutatori, che produce compiti ancorati all’ambiente i cui stati finali possono essere verificati indipendentemente dalla modalità con cui sono stati risolti. Avviamo la policy con SFT su dati ibridi filtrati e la miglioriamo ulteriormente tramite RL online in ambienti desktop operativi. Per l’RL proponiamo Step-balanced GSPO, che aggrega i pesi di importanza per passo d’azione anziché per token grezzi dell’assistente, per evitare che le azioni di codice più lunghe dominino l’ottimizzazione di azioni eterogenee. Su OSWorld-Verified, OS-Helix-27B e OS-Helix-35B-A3B ottengono miglioramenti relativi del 35,0% e del 33,7% rispetto alle rispettive baseline ibride Qwen3.5, mentre OS-Helix-27B-RL migliora ulteriormente del 42,9%, raggiungendo un tasso di successo del 66,44%. Gli studi di ablazione forniscono risultati coerenti con il contributo del coordinamento appreso tra GUI e codice, dei dati verificabili e scalabili per l’addestramento supervisionato e dell’ottimizzazione bilanciata per passo d’azione, e dimostrano il trasferimento tra piattaforme su WindowsAgentArena. La pagina del nostro progetto è https://os-copilot.github.io/OS-Helix/.