Rapporto tecnico su UI-Venus-2

Abstract degli autori

Gli agenti GUI multimodali si sono affermati come un paradigma promettente per automatizzare le attività digitali. Il passaggio dai modelli orientati ai benchmark ad applicazioni affidabili nel mondo reale resta però difficile, a causa della copertura limitata degli ambienti, della costruzione fragile dei compiti e della verifica inaffidabile delle ricompense. In questo lavoro presentiamo UI-Venus-2, un agente GUI di base per uso generale, progettato per operare in ambienti mobili, web e desktop attraverso un quadro unificato di ragionamento e azione a ciclo chiuso. Per avvicinarci all’impiego pratico, ampliamo congiuntamente tre dimensioni fondamentali: (1) gli ambienti, estendendo la copertura a oltre 170 app mobili multilingue e a sistemi operativi desktop nativi; (2) i compiti, usando una pipeline di ricerca approfondita per generare istruzioni ancorate alle funzionalità; e (3) la verifica, adottando valutatori a livello di traccia e di campione, con punti chiave visivi e votazione tra più modelli, per garantire segnali affidabili per l’addestramento con RL. Integriamo inoltre meccanismi attenti alla sicurezza per garantire l’esecuzione controllata di azioni dalle conseguenze rilevanti. Offrendo una base capace, efficiente e open source, UI-Venus-2 contribuisce allo sviluppo di agenti più generalizzabili, verificabili e capaci di riflettere sul proprio operato per applicazioni nel mondo reale.