OpenGCUA: verso uno stack completamente aperto per l’uso generalista del computer

Abstract degli autori

L’uso del computer è arrivato a un punto di svolta: l’attenzione si sta allargando dalle sole interazioni tramite interfaccia grafica ai sistemi che portano a termine attività sui computer degli utenti attraverso interfacce visive e programmatiche. Definiamo agente generalista per l’uso del computer (GCUA) un sistema in cui il modello sceglie come osservare, agire e organizzare il proprio lavoro attraverso queste interfacce. Eppure, le implementazioni più avanzate, come il sistema di GPT-6 Astra per l’uso del computer, restano in gran parte chiuse, limitando lo studio sistematico della loro progettazione. Presentiamo Open Generalist CUA (OpenGCUA), un progetto in corso per sviluppare e rendere aperto, insieme alla comunità, l’intero stack dei GCUA. Questo rapporto presenta la prima versione di OpenGCUA. L’esecuzione di codice è una caratteristica fondamentale del nostro agente: consente ai risultati intermedi di determinare le operazioni successive e ai modelli di applicare direttamente all’interazione con il computer le proprie capacità di programmazione. Proponiamo inoltre di trasferire decisioni dall’harness al modello, spostando dalle regole fisse dell’harness al modello determinate osservazioni e decisioni sullo stato dell’attività. Su OSWorld-v2, la nostra configurazione completa migliora i punteggi delle attività per tutti e otto i modelli valutati, tra cui GPT-6 Astra e Claude Opus 5: aumenta il punteggio parziale medio di 19,6 punti e riduce in media del 53,0% i passaggi riportati per attività rispetto all’esecuzione in batch basata solo sull’interfaccia grafica. Rendiamo disponibili la nostra implementazione e i prompt, le traiettorie di valutazione di tutti e otto i modelli e versioni preliminari di un harness per dispositivi reali e di un SDK utilizzabile su dispositivi diversi. L’harness affronta le difficoltà legate ai dispositivi reali che i benchmark non colgono pienamente, mentre l’SDK offre un’interfaccia di programmazione comune per computer, dispositivi mobili e browser. In quattro attività reali su macOS eseguite con il nostro harness per dispositivi reali, alcune esecuzioni selezionate di Qwen3.8-Max utilizzano un numero di token di ragionamento riportati 19,4 volte superiore a quello di GPT-6 Astra, mettendo in evidenza differenze sostanziali tra i modelli nell’efficienza di esecuzione su dispositivi reali.