Agenti GUI onnimodali focalizzati

Abstract degli autori

Gli agenti per le interfacce grafiche (GUI) operano sempre più spesso su flussi di osservazioni onnimodali che comprendono schermate, audio, video, cronologia delle interazioni e stati dei dispositivi. Tuttavia, presentare l’intero contesto allo stesso modo a ogni passaggio trascura il fatto che ciò che è rilevante cambia rapidamente ed è limitato: il segnale che determina un’azione può diventare rumore al passaggio successivo. Poiché le azioni eseguite si ripercuotono sul contesto, questi errori si accumulano nella Distrazione sequenziale, spingendo l’agente verso una deriva irreversibile della traiettoria. Formuliamo il requisito di fondo come Percezione focalizzata: una rappresentazione che si adatti a ogni passaggio, fornisca informazioni sufficienti per l’azione e non sia invasiva. Lo realizziamo in FocusGUI, un adattatore leggero che assegna dinamicamente priorità ai canali multimodali in base a un riferimento decisionale specifico per ogni passaggio. Anziché elaborare uniformemente tutti gli input, comprime gli elementi più rilevanti in una rappresentazione latente compatta e la inserisce in modo discreto negli embedding del decoder congelato, orientando l’attenzione del modello senza alterarne lo spazio dei parametri originale. FocusGUI viene addestrato con la sola supervisione delle azioni, senza richiedere né etichette sulla rilevanza delle modalità né il fine-tuning del backbone. Su quattro backbone onnimodali, rispetto al backbone congelato aumenta in media il Type Match di +33,2 e l’Exact Match di 3,0 volte; aumenta inoltre il Type Match di +30,1 rispetto al migliore metodo di potenziamento esistente.