Schermata giusta, transizione sbagliata: i modelli del mondo come verificatori per gli agenti GUI

Abstract degli autori

Una schermata di accesso che compare dopo un tocco su Accedi è attesa; la stessa schermata dopo un tocco su Visualizza ordine è un attacco. Per gli agenti GUI, la sicurezza dipende quindi dalla transizione, non dalla schermata, e un sistema di monitoraggio che esamina soltanto le schermate può essere aggirato riutilizzandone una legittima. Per valutare una transizione occorre prevedere che cosa avrebbe dovuto seguire all’azione. I modelli del mondo esistenti per le GUI forniscono una previsione del genere, ma la producono sotto forma di testo, codice o immagini: per confrontarla con la schermata osservata serve quindi un secondo modello che valuti le due. Sosteniamo che un modello del mondo destinato alla verifica debba invece fare previsioni nello spazio in cui vengono codificate le osservazioni. Presentiamo LGWM, un modello del mondo senza decoder e condizionato dall’azione, che prevede direttamente la rappresentazione della schermata successiva ed è addestrato senza annotazioni semantiche su 1,85 milioni di transizioni GUI reali. La verifica si riduce a un confronto tra vettori e lo stesso segnale rivela se una discrepanza è dannosa. Valutiamo il modello su RSWT-BENCH, un test diagnostico in cui ogni schermata per l’inserimento delle credenziali compare sia dopo una transizione legittima sia dopo una transizione dirottata: i sistemi di rilevamento che vedono soltanto la schermata ottengono quindi, per costruzione, risultati pari al caso. Il punteggio ottenuto senza addestramento raggiunge un’AUC di 0,987 con 17 ms per decisione: è alla pari con i più efficaci VLM a codice chiuso e supera di circa dieci punti di AUC i modelli del mondo generativi per le GUI, con una latenza inferiore di oltre tre ordini di grandezza. La direzione del residuo raggiunge un’AUC di 0,953 nel distinguere le violazioni dannose da quelle innocue, un compito in cui i VLM guidati tramite prompt ottengono risultati vicini al caso. Ulteriori analisi mostrano che la previsione è uno stato futuro utilizzabile, non un punteggio di anomalia. Finora i modelli del mondo sono serviti soprattutto come simulatori o pianificatori; i nostri risultati indicano un terzo ruolo, la verifica, per il quale prevedere nello spazio delle rappresentazioni è la scelta progettuale naturale.