Modifiche precise e uso flessibile dei riferimenti nei mondi interattivi

Abstract degli autori

Presentiamo EditWorld, un modello del mondo basato su video che consente modifiche precise e un uso flessibile dei riferimenti nei mondi interattivi. I modelli del mondo basati su video esistenti si concentrano soprattutto sulla navigazione: permettono agli utenti di esplorare i mondi generati, ma offrono un controllo limitato sulle modifiche ai contenuti già presenti. EditWorld estende la modellazione dei mondi dall’esplorazione alla modifica precisa, ricevendo istruzioni di modifica e immagini di riferimento in streaming durante la generazione autoregressiva. A questo scopo, EditWorld introduce Gated Causal Attention per gestire istruzioni di modifica e immagini di riferimento che variano nel tempo, insieme a un meccanismo Sparse Context che mantiene un contesto storico di dimensioni limitate per l’inferenza su orizzonti temporali lunghi. Adottiamo inoltre un addestramento congiunto autoregressivo e bidirezionale con auto-ricampionamento ridotto gradualmente e realizziamo una pipeline dedicata alla sintesi e all’annotazione dei dati, che fornisce la supervisione necessaria per modificare i mondi. Presentiamo anche WBench-Editing per valutare sistematicamente le capacità di modifica dei mondi in streaming. EditWorld ottiene le migliori prestazioni complessive su WBench-Editing, con un punteggio complessivo di 73,8 e un punteggio nelle modifiche di 80,0, superando ampiamente i metodi esistenti nelle metriche relative alle modifiche. https://github.com/leoisufa/EditWorld