CUA-Master: scalare gli agenti per l’uso del computer attraverso miglioramenti ricorsivi in ambienti open world

Abstract degli autori

Nonostante i recenti progressi degli agenti per l’uso del computer (CUA), il loro sviluppo resta limitato dalla scarsa diversità, controllabilità e affidabilità dei dati di interazione. Inoltre, le pipeline di ottimizzazione convenzionali non prevedono feedback iterativi, mentre gli approcci esistenti al miglioramento ricorsivo spesso si basano su esperienze generate autonomamente, limitando l’ampliamento delle capacità e producendo rendimenti decrescenti. Per affrontare queste sfide, presentiamo CUA-Master, un framework annidato di miglioramento ricorsivo a doppio loop. A livello di sistema, un volano mondo-dati-modello incorpora continuamente corpus del mondo aperto e sfrutta l’evoluzione delle debolezze del modello per guidare le successive iterazioni di costruzione dei dati e ottimizzazione. A livello dei dati, un volano interno combina la semina in ambienti open world e la propagazione autocatalitica. Il primo estrae dai video didattici flussi di lavoro autentici, usati come attività iniziali, e impiega una ricostruzione delle traiettorie a doppio percorso visivo-semantico; il secondo trasforma queste attività iniziali in primitive riutilizzabili per la sintesi controllabile di attività diverse, complesse e verificabili. Per consentire una raccolta delle traiettorie efficiente e affidabile, presentiamo inoltre un meccanismo di ripetizione dei tentativi guidato dal feedback, con snapshot e rollback, in diversi ambienti reali. Esperimenti approfonditi dimostrano che CUA-Master-27B ottiene prestazioni competitive nei benchmark solo GUI e ibridi GUI-CLI, con punteggi di 80,2 su OSWorld Verified, 36,9 su OSWorld 2.0, 43,9 su WeaveBench e 25,0 su Agents' Last Exam. Il nostro framework migliora inoltre in modo sostanziale la qualità e l’efficienza della sintesi dei dati e mostra progressi continui nelle iterazioni ricorsive.