Ricerca
La pertinenza non implica l’applicabilità: l’attivazione dell’esperienza per gli agenti personali che usano interfacce grafiche
Gli agenti personali che usano interfacce grafiche (GUI) si basano sulla cronologia delle interazioni per dedurre ciò che l’utente desidera da istruzioni ambigue e anticipare le routine ricorrenti. Gl

- arXiv
- 2609.33304
- Pubblicato
- 2026-09-27
- Autori
- Fuyao Zhang, Xuan Wang, Zherui Li, Jiaming Zhang, Longtao Huang, Wei Yang Bryan Lim
Abstract degli autori
Gli agenti personali che usano interfacce grafiche (GUI) si basano sulla cronologia delle interazioni per dedurre ciò che l’utente desidera da istruzioni ambigue e anticipare le routine ricorrenti. Gli approcci esistenti recuperano le interazioni passate pertinenti al compito e le aggiungono al contesto della policy, presupponendo implicitamente che un’esperienza pertinente al compito resti utile per ogni decisione al suo interno. Constatiamo che questa utilità si esaurisce in gran parte alla prima decisione: la cronologia recuperata migliora nettamente il passaggio iniziale di un episodio, ma offre pochi benefici duraturi nel restante 90\% dei passaggi e scarse indicazioni su quando sia opportuno formulare un suggerimento proattivo. Un’esperienza passata pertinente può indicare all’agente da dove iniziare, ma non quale azione passata sia applicabile alla schermata corrente o se sia giunto il momento di eseguire una routine. Il problema di fondo è che la pertinenza non implica l’applicabilità}: la pertinenza è determinata a livello di compito, mentre l’applicabilità dipende dalla situazione al momento della decisione. Riformuliamo quindi la personalizzazione come attivazione dell’esperienza e presentiamo ExpActivator, un framework che non richiede addestramento e attiva solo l’esperienza applicabile alla situazione corrente. Durante l’esecuzione, ExpActivator associa ogni nuova schermata a stati passati nello spazio latente del backbone GUI, i cui parametri restano invariati, e fornisce l’azione corrispondente come riferimento. Prima dell’esecuzione, attiva un intento ricorrente solo quando il momento attuale e lo scenario offrono elementi sufficienti a sostenerlo; altrimenti si astiene. Su quattro backbone GUI, ExpActivator aumenta in media del 28\% il successo dei singoli passaggi all’interno delle traiettorie, ottiene i migliori risultati nell’esecuzione personalizzata su ciascun backbone usando circa un quinto dei token della cronologia e raggiunge un coefficiente di correlazione di Matthews pari a circa 2,3$\times$ quello della migliore baseline proattiva. L’esperienza è utile quando viene attivata, non quando viene semplicemente aggiunta al contesto.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv