The Pulse
I ricercatori riferiscono che CUA-Master-27B ha ottenuto 80,2 su OSWorld Verified
CUA-Master-27B ottiene 80,2 su OSWorld Verified, con risultati riportati anche su altri tre benchmark per l’uso del computer. Il framework combina la scoperta di attività in un mondo aperto, la costruzione di dati sintetici e l’ottimizzazio
AI.info Team · Scritto con l’IA · verificato ·
CUA-Master-27B ottiene 80,2 su OSWorld Verified, secondo un preprint sottoposto ad arXiv il 2 novembre 2026. Lo studio riporta anche risultati su OSWorld 2.0, WeaveBench e Agents’ Last Exam e descrive CUA-Master come un framework per migliorare ripetutamente gli agenti per l’uso del computer attraverso nuovi dati e l’ottimizzazione del modello. Gli autori sono Xinlei Yu e altri 17 coautori.
Due cicli affrontano i limiti dei dati e dell’addestramento
Gli autori individuano nella scarsa diversità, controllabilità e affidabilità dei dati di interazione alcuni vincoli allo sviluppo di agenti per l’uso del computer. Segnalano anche una lacuna nelle pipeline di ottimizzazione convenzionali: i dati vengono generati e usati per l’addestramento, ma il processo non riporta adeguatamente nella costruzione dei dati le debolezze del modello man mano che evolve. Di conseguenza, dati aggiuntivi possono produrre miglioramenti disomogenei, lasciando irrisolte alcune lacune nelle capacità.
I metodi esistenti di miglioramento ricorsivo possono aggiungere un addestramento iterativo, ma, secondo lo studio, spesso dipendono da esperienze generate dal modello stesso. Gli autori definiscono questo approccio un’ottimizzazione a mondo chiuso: l’esplorazione di un sistema rimane circoscritta alle sue capacità esistenti e può rafforzare i bias nella distribuzione, con rendimenti decrescenti. CUA-Master è progettato per affrontare sia il feedback limitato delle pipeline unidirezionali sia l’espansione limitata delle conoscenze derivante dalle esperienze autogenerate.
Il framework comprende due cicli collegati. A livello di sistema, un ciclo esterno collega l’esplorazione del mondo aperto, la costruzione dei dati e l’ottimizzazione del modello. Integra un corpus proveniente dal mondo aperto e usa le debolezze osservate nel modello durante la sua evoluzione per guidare le successive fasi di esplorazione, generazione dei dati e ottimizzazione. A livello dei dati, un ciclo interno combina la generazione di attività iniziali dal mondo aperto con la propagazione autocatalitica.
I video forniscono le attività iniziali per la costruzione dei compiti
Per generare le attività iniziali dal mondo aperto, il sistema estrae flussi di lavoro autentici da video didattici e li usa come attività di partenza. Lo studio descrive un processo di ricerca e filtraggio gerarchici per trovare attività diverse, seguito dalla ricostruzione delle traiettorie lungo due percorsi, uno visivo e uno semantico. L’obiettivo è usare flussi di lavoro esterni all’esperienza generata dall’agente stesso come punto di partenza per la costruzione dei dati.
Nella fase di propagazione, dalle attività iniziali esistenti vengono astratte primitive riutilizzabili, che vengono combinate in nuovi compiti. Secondo gli autori, questo approccio permette di controllare la complessità e l’ambito applicativo dei compiti e favorisce la sintesi di compiti diversificati, complessi e verificabili. Gli autori individuano nell’omogeneità dei compiti tratti da fonti limitate un ostacolo a una copertura più ampia delle capacità. Osservano inoltre che la riscrittura delle istruzioni e la generazione basata su modelli offrono un controllo limitato sulle capacità operative, sulla complessità dei compiti e sulle dipendenze, in particolare per attività di lunga durata che coinvolgono più applicazioni.
Un meccanismo di ripetizione affronta gli errori nei rollout
La raccolta di traiettorie verificate in ambienti reali può diventare meno affidabile man mano che i compiti diventano più complessi, afferma lo studio. CUA-Master usa durante la raccolta delle traiettorie un meccanismo di ripetizione guidato dal feedback, basato su snapshot e rollback. Secondo l’introduzione dello studio, il metodo preserva le sequenze iniziali di esecuzione valide e consente di recuperare dagli errori localizzati senza riavviare l’intero rollout.
Gli autori riferiscono che il framework migliora la qualità e l’efficienza della sintesi dei dati e mostra progressi continui attraverso le iterazioni ricorsive. Descrivono inoltre miglioramenti nella diversità e nella copertura della distribuzione dei dati, così come nell’affidabilità e nella controllabilità della sintesi.
I risultati coprono quattro benchmark
CUA-Master-27B registra 80,2 su OSWorld Verified, 36,9 su OSWorld 2.0, 43,9 su WeaveBench e 25,0 su Agents’ Last Exam. Gli autori presentano questi risultati come ottenuti su benchmark basati solo su GUI e su benchmark ibridi GUI-CLI e descrivono le prestazioni come competitive e vicine a quelle di modelli nettamente più grandi o a codice chiuso. Lo studio identifica il sistema come un modello da 27 miliardi di parametri e presenta i risultati dei benchmark insieme al processo ricorsivo di costruzione dei dati e ottimizzazione proposto.