World-in-Context: modellazione interattiva di mondi video con In-Context Conditioning

Abstract degli autori

I modelli interattivi di mondi video richiedono un controllo coordinato delle prospettive di osservazione, delle azioni dei personaggi e dei movimenti della telecamera. I metodi esistenti, in genere, lasciano implicite le modalità di visualizzazione nelle descrizioni testuali, confondono le azioni con i movimenti della telecamera e introducono i controlli attraverso percorsi architetturali separati, che colgono le interdipendenze solo indirettamente. In questo lavoro presentiamo World-in-Context, un framework per la modellazione interattiva di mondi basato su In-Context Conditioning (ICC). Anziché affidarsi a percorsi di condizionamento specializzati, World-in-Context riunisce i controlli della prospettiva, delle azioni e della telecamera in token espliciti, collocati direttamente nel contesto di uno spazio condiviso di autoattenzione. La nostra formulazione mostra che (i) i token espliciti per la prospettiva separano dinamiche contrastanti e rendono possibile un cambio di prospettiva emergente a partire da dati con un’unica visuale, mentre (ii) gli input relativi alle azioni e alla telecamera svolgono ruoli complementari nel determinare la reattività locale e la stabilità globale. Per preservare la continuità temporale tra gli intervalli di esecuzione, introduciamo inoltre Interaction-Transport RoPE (IT-RoPE), che parametrizza l’attenzione temporale mediante le transizioni di controllo accumulate. Su WBench, World-in-Context-5B raggiunge prestazioni di navigazione paragonabili a quelle di EchoWM 22B ($81.5$ contro $81.6$) e un tasso di successo nel cambio di prospettiva del $93.8\%$, superando nettamente le baseline 5B esistenti ($18.8\%$). Analisi controllate mostrano inoltre che i vantaggi di World-in-Context si amplificano con combinazioni di condizionamenti più ricche, e ne evidenziano l’efficienza favorevole nell’uso dei dati e la naturale applicabilità ai rollout causali.