Rapporto tecnico NorthCUA: potenziare gli agenti per l’uso del computer attraverso l’esperienza su larga scala

Abstract degli autori

Portare su scala gli agenti per l’uso del computer, passando dalle singole azioni ad attività software complesse, richiede un’esperienza che colleghi le decisioni ai risultati finali. Presentiamo NorthCUA, un sistema integrato per potenziare gli agenti per l’uso del computer attraverso l’esperienza su larga scala. Il suo Experience Flywheel fornisce attività eseguibili e diversificate al NorthCUA Harness, che sostiene interazioni prolungate, registra le decisioni e verifica i risultati delle attività. Il Flywheel usa queste registrazioni per selezionare traiettorie verificate. Per le attività irrisolte, l’auto-miglioramento ricorsivo sviluppa competenze riutilizzabili e conserva traguardi verificati, così che i tentativi successivi possano basarsi sui progressi precedenti. Staged Learning combina questa esperienza con i dati di grounding del Flywheel per sviluppare competenze nell’uso delle GUI attraverso il mid-training e il fine-tuning supervisionato su orizzonti temporali lunghi. La policy impara quindi da nuovi tentativi nello stesso Harness, tramite l’apprendimento per rinforzo congiunto desktop-Web, chiudendo il ciclo tra la produzione di esperienza e il miglioramento della policy. La famiglia risultante, composta dai modelli Nano, Mini e Pro, ottiene risultati all’avanguardia tra i modelli open source nei task di grounding delle GUI, esecuzione desktop e interazione con il Web, nelle condizioni di valutazione riportate. Per flussi di lavoro sul Web più reattivi, NorthCUA-Ultrafast abbina la selezione diretta delle azioni alla generazione aperta su Nano pre-RL, offrendo un compromesso misurato tra qualità e latenza. Nel loro insieme, questi progressi affermano NorthCUA come una famiglia di modelli ad alte prestazioni e una base riutilizzabile per agenti in grado di portare attività software complesse dall’intento al completamento.