The Pulse
Vercel Labs apre Agent Desktop al controllo tramite l’albero di accessibilità
Agent Desktop offre agli agenti software un’interfaccia a riga di comando e una libreria C per usare le applicazioni desktop attraverso le API di accessibilità dei sistemi operativi. La versione 1.0 ha aggiunto il supporto per Linux, oltre
AI.info Team · Scritto con l’IA · verificato ·
Agent Desktop legge l’interfaccia, non i suoi pixel
Il 28 ottobre agent-desktop di Vercel Labs è arrivato alla versione 1.0, offrendo agli agenti software un’interfaccia a riga di comando per accedere alle applicazioni desktop attraverso le API di accessibilità dei sistemi operativi. Invece di interpretare uno screenshot e stimare dove si trovi un pulsante, l’agente riceve una rappresentazione strutturata dell’interfaccia e agisce su un elemento identificato. Il progetto è open source, con licenza Apache-2.0.
Lo strumento comprende un’interfaccia a riga di comando in Rust e una libreria C per macOS, Windows e Linux. Il suo ciclo di base consiste nell’acquisire uno snapshot di un’applicazione, agire sul riferimento di un elemento e acquisire un altro snapshot per verificare il risultato. L’agente fornisce il ragionamento; agent-desktop mette a disposizione i controlli del desktop e risposte strutturate.
I riferimenti degli snapshot legano le azioni a ciò che l’agente ha visto
Ogni elemento interattivo di uno snapshot riceve un riferimento, che viene usato per le azioni al posto delle coordinate sullo schermo. I riferimenti appartengono a uno specifico snapshot: se l’interfaccia cambia, lo strumento può segnalare che l’elemento bersaglio è obsoleto o ambiguo, invece di reindirizzare un’azione verso un elemento diverso senza segnalarlo. Le risposte includono codici di errore strutturati e, in molti casi, suggerimenti su cosa dovrebbe fare l’agente in seguito.
Le azioni basate sui riferimenti vengono eseguite per impostazione predefinita in modalità headless: usano le API di accessibilità senza spostare il puntatore né acquisire il focus in primo piano. Un’opzione separata, --headed, consente di usare input fisici quando necessario. Questa distinzione offre agli sviluppatori la possibilità di scegliere tra l’interazione con gli elementi dell’interfaccia attraverso la loro rappresentazione di accessibilità e l’uso visibile di mouse o tastiera.
Un solo pacchetto per tre sistemi operativi
Gli sviluppatori possono installare lo strumento con npm install -g agent-desktop; il pacchetto include file binari nativi e strumenti di supporto per le diverse piattaforme, per x64 e ARM64. La versione 1.0 ha introdotto il supporto Linux nell’interfaccia a riga di comando integrata, nella libreria C e nel pacchetto npm, usando AT-SPI sui sistemi Linux con glibc 2.35 o versioni successive. L’ultima versione indicata per il progetto, la 1.0.2, è arrivata il 30 ottobre.
La configurazione varia a seconda della piattaforma. macOS richiede l’autorizzazione di accessibilità, mentre l’uso su Linux dipende dalla sessione grafica dell’utente e da at-spi2-core; su Windows, lo strumento funziona con le applicazioni eseguite allo stesso livello di integrità del terminale senza autorizzazioni aggiuntive. La documentazione precisa che Agent Desktop non automatizza le pagine web e indirizza gli utenti ad agent-browser per questo scopo.
Gli alberi di accessibilità definiscono i limiti ed espongono dati privati
Agent Desktop non può operare su qualsiasi interfaccia solo perché è eseguito su un sistema operativo supportato. La documentazione del progetto afferma che non può vedere un’interfaccia utente che non pubblica un albero di accessibilità e la tabella delle piattaforme elenca le differenze nel supporto per mouse, finestre e screenshot. Esiste un comando per gli screenshot, ma il normale flusso di osservazione e azione non dipende dagli screenshot né dal confronto dei pixel.
Lo stesso accesso che rende possibile l’automazione del desktop può esporre materiale sensibile. Vercel Labs avverte che snapshot, dati letti dagli appunti, screenshot, output dei comandi e dati di debug possono contenere contenuti privati del desktop e sconsiglia di inserirli in log pubblici o caricarli pubblicamente. Uno strumento ausiliario opzionale, JEV, può inviare descrizioni dello schermo a un fornitore di modelli configurato; il repository lo descrive come separato dall’interfaccia a riga di comando nativa.