Modello latente di azione del mondo per agenti che operano su interfacce grafiche

Abstract degli autori

I modelli del mondo nello spazio dei pixel si sono recentemente affermati come un approccio promettente per gli agenti che operano su interfacce grafiche: prevedono le schermate future prima dell’esecuzione e poi le analizzano nuovamente per selezionare l’azione. Questo paradigma in due fasi presenta però due sfide fondamentali negli ambienti con interfaccia grafica: (L1) l’elevato costo computazionale della ricostruzione dei pixel e (L2) la necessità di ricostruire una grande quantità di dettagli visivi diversi, oltre a quelli necessari per selezionare l’azione. In pratica, l’obiettivo di generare la schermata può produrre un problema di «scorciatoia dell’identità»: la previsione dello stato futuro conserva in larga misura lo stato attuale, anziché cogliere i cambiamenti indotti dall’azione. In questo lavoro riformuliamo la modellazione del mondo per le interfacce grafiche, spostando l’obiettivo della previsione dalla ricostruzione dell’intera schermata alle informazioni sul futuro indotte dall’azione nello spazio latente. Nello specifico, utilizziamo un grande modello multimodale come modello latente del mondo: le sue rappresentazioni condivise alimentano due teste dedicate, una alla selezione dell’azione e l’altra alla modellazione predittiva delle transizioni. La prima traduce direttamente queste rappresentazioni latenti nella selezione dell’azione, mentre la seconda cattura informazioni sul futuro condizionate dall’azione. Per attenuare la scorciatoia dell’identità, introduciamo inoltre un obiettivo contrastivo che tiene conto dell’azione e incoraggia le rappresentazioni delle transizioni a cogliere i cambiamenti distintivi indotti dall’azione. Esperimenti approfonditi in contesti con interfaccia grafica offline e online mostrano che il nostro metodo ottiene, rispettivamente, incrementi relativi del tasso di successo fino al 31,9% e al 40,6% rispetto ai modelli del mondo nello spazio dei pixel, riducendo al contempo in misura sostanziale la latenza dell’inferenza, fino al 98,9%. Il nostro codice è disponibile all’indirizzo https://github.com/sjyu001/latent2world.