OverSeer: modelli del mondo multiagente oltre ciò che vedono gli agenti

Abstract degli autori

Nonostante il successo dei modelli del mondo basati su video, estenderli a più agenti è difficile: occorre generare diversi flussi video specifici per ciascun agente, coerenti nel tempo e tra gli agenti. Per colmare questa lacuna, presentiamo OverSeer, un modello del mondo multiagente che affianca alle visuali soggettive degli agenti viste fornite da telecamere ausiliarie. Suggeriamo che, mantenendo fisse nello spazio le viste ausiliarie, queste possano fungere da rappresentazione approssimata centrata sul mondo: a differenza delle visuali degli agenti, che possono cambiare completamente per un semplice spostamento dell’agente, le variazioni nelle viste ausiliarie corrispondono direttamente a cambiamenti localizzati nello stato del mondo. Mostriamo che queste viste fisse aiutano notevolmente il modello a mantenere la coerenza. Mostriamo inoltre che, grazie alla loro natura ridondante e semistatica, le viste ausiliarie possono essere compresse in modo efficiente con un delta-VAE che codifica soltanto le variazioni rispetto a un’immagine di riferimento statica, riducendo il numero di token necessari per elaborarle. Gli esperimenti in Minecraft e Doom mostrano una migliore coerenza del mondo e degli agenti; i risultati qualitativi ottenuti da riprese multicamera del mondo reale indicano che l’approccio non è legato ai motori di gioco. La nostra analisi della compressione mostra inoltre che delta-VAE riduce notevolmente il costo computazionale aggiuntivo della generazione delle viste ausiliarie. Concludiamo che queste viste fisse offrono un modo semplice ed efficiente per migliorare i modelli del mondo multiagente.