Riflettere, rivedere, riutilizzare: l’evoluzione delle competenze senza addestramento per gli agenti GUI

Abstract degli autori

Gli agenti GUI svolgono compiti di lunga durata su interfacce grafiche dinamiche, dove finestre pop-up, caricamenti ritardati e componenti dell’interfaccia spostati rendono spesso inutilizzabili i piani fissati prima dell’esecuzione. I recenti framework basati sulle competenze degli agenti racchiudono conoscenze procedurali riutilizzabili per attenuare questo problema. Tuttavia, le competenze esistenti sono progettate in gran parte senza tenere conto delle dinamiche di esecuzione nelle interfacce grafiche e vengono trattate come artefatti statici prodotti prima dell’impiego, anziché come conoscenze procedurali vive che migliorano durante l’impiego stesso. Sosteniamo che agli agenti GUI non servano competenze statiche migliori, ma competenze che possano essere riviste sulla base del feedback dell’esecuzione durante l’impiego, senza ulteriore addestramento. Proponiamo \textbf{EvoSkill-GUI}, un framework senza addestramento in cui ogni competenza è un pacchetto strutturato composto da più file, contenente metadati per il recupero, piani eseguibili, procedure alternative di localizzazione, regole per il recupero dagli errori, strumenti per l’accessibilità e casi di errore. EvoSkill-GUI opera attraverso un ciclo \textbf{\emph{reflect-revise-reuse}}: l’esecutore apporta revisioni immediate durante l’esecuzione, un valutatore isolato diagnostica le traiettorie fallite nel rispetto di un rigoroso isolamento delle informazioni e l’esecutore modifica file specifici delle competenze tramite un’interfaccia con strumenti ad accesso limitato. Su MobileWorld, AndroidWorld e OSWorld, tre benchmark GUI diffusi che coprono piattaforme mobili e desktop, EvoSkill-GUI migliora in modo costante le prestazioni di diversi modelli di base senza alcun addestramento, con incrementi massimi rispettivamente di $+16.2\%$, $+6.0\%$ e $+10.5\%$. Le raccolte di competenze così evolute continuano inoltre a essere utili per compiti correlati, senza dover essere ricostruite da zero. Il nostro codice è disponibile all’indirizzo https://github.com/ZJU-REAL/EvoSkill-GUI.