Uso ibrido del computer: un’interfaccia unificata programmatica, semantica e visiva per agenti generalisti

Abstract degli autori

Gli agenti per l’uso del computer affrontano sempre più spesso compiti che vanno dalle attività quotidiane sul desktop ai flussi di lavoro professionali di lunga durata. Tuttavia, le interfacce incentrate su screenshot e azioni tramite mouse e tastiera possono imporre un’impostazione basata sull’interazione umana, richiedendo di interpretare ripetutamente lo schermo e lasciando al contempo poco sfruttate le capacità semantiche e programmatiche del computer. Sosteniamo che queste capacità vadano rese accessibili e che si debba lasciare ai modelli la possibilità di sceglierle e combinarle. Presentiamo Hybrid Computer Use (HCU), un’interfaccia unificata per agenti generalisti che combina tre canali complementari: l’interazione programmatica tramite codice e strumenti a riga di comando, l’interazione semantica tramite l’accessibilità (AX) e l’interazione visiva tramite interfacce grafiche (GUI). La nostra HCU supporta un’interazione AX efficiente e protegge dalle azioni basate su stati obsoleti durante il passaggio da un canale all’altro. Una skill HCU supplementare guida gli agenti nella scelta e nel coordinamento dei canali, per utilizzare efficacemente l’interfaccia unificata. Gli strumenti AX che abbiamo progettato restituiscono osservazioni compatte, eseguono azioni in batch e ne riportano gli effetti sotto forma di diff AX, così che il modello debba effettuare meno scambi di andata e ritorno. Su OSWorld 2.0, HCU ottiene i punteggi Partial e Binary più alti tra i sistemi messi a confronto. Analizzando le traiettorie degli agenti, rileviamo che tutti i modelli valutati migliorano con HCU, ma distribuiscono il lavoro tra i canali in modo diverso e superano con costanza i baseline messi a confronto sia in termini di efficienza sia di successo nei compiti. Ciò evidenzia il valore di interfacce unificate per l’uso del computer che consentano di selezionare e combinare i canali in modo flessibile.