Work2Skill: acquisire l’esperienza umana nelle interfacce grafiche per ricavare competenze riutilizzabili dagli agenti

Abstract degli autori

Gli agenti che usano il computer riescono a svolgere compiti sempre più complessi nelle interfacce grafiche, ma incontrano ancora difficoltà con software sconosciuti e procedure che richiedono conoscenze umane specifiche del settore. Le dimostrazioni umane trasmettono conoscenze procedurali attraverso la stessa interfaccia grafica, ma per riutilizzarle occorre interpretare le azioni nel loro contesto e distinguere le regole della procedura dai dettagli specifici del compito. Presentiamo quindi Work2Skill, un framework che acquisisce l’esperienza umana nelle interfacce grafiche per ricavarne competenze riutilizzabili dagli agenti. WorkRecorder fornisce l’infrastruttura del framework per raccogliere questa esperienza, sincronizzando registrazioni dello schermo, eventi del mouse e della tastiera e informazioni disponibili sull’albero di accessibilità. Con WorkRecorder creiamo WorkDemo-350, il primo dataset multimodale sincronizzato di dimostrazioni umane nell’uso di interfacce grafiche desktop, destinato a ricavare competenze riutilizzabili dagli agenti e alla successiva valutazione. Le sue 350 dimostrazioni sono state verificate per accertarne la completezza e il successo nello svolgimento del compito. Proponiamo poi un metodo di induzione delle competenze basato su agenti che esamina le evidenze quando necessario per produrre competenze riutilizzabili, capaci di rappresentare le regole della procedura, le dipendenze tra i passaggi e le verifiche di completamento. Quando gli stessi quattro modelli di esecuzione vengono dotati delle competenze ricavate con ciascun metodo, a parità di impostazioni di esecuzione, Work2Skill ottiene i punteggi e i tassi di successo più elevati. Rispetto alla corrispondente baseline No Skill, gli incrementi medi del punteggio sono di 4,67--10,54 punti su MyPCBench Bounded Action e di 3,11--7,50 punti su un sottoinsieme di 286 compiti di OSWorld-Verified. Il nostro codice e i nostri dati sono disponibili all’indirizzo https://github.com/china-qijizhifeng/Work2Skill.