WorldPlay2: estendere il controllo e l’orizzonte dei modelli di mondi interattivi in tempo reale

Abstract degli autori

I modelli di mondi interattivi devono rispondere in tempo reale a controlli versatili e mantenere la coerenza su orizzonti lunghi. Tuttavia, modellare controlli eterogenei resta difficile, mentre la crescita esplosiva dei contesti e l’instabilità della distillazione ostacolano il raggiungimento sia della coerenza su orizzonti lunghi sia della capacità di rispondere in tempo reale. In questo articolo presentiamo WorldPlay2, un modello di mondo interattivo che combina un’interfaccia di controllo ibrida fattorizzata con una progettazione congiunta della memoria compressa e di una distillazione stabile. 1) La nostra interfaccia di controllo ibrida fattorizzata integra il controllo delle azioni allineato ai fotogrammi con un controllo semantico strutturato che distingue esplicitamente l’aspetto della scena, l’identità dei personaggi e gli eventi semantici dinamici, facilitando così l’apprendimento del controllo. 2) Per modellare in modo efficiente orizzonti lunghi, comprimiamo i contesti precedenti in token di memoria compatti, condivisi dallo studente autoregressivo e dall’insegnante bidirezionale. Questa soluzione consente di valutare lo score clip per clip, condizionandolo alla memoria, anziché elaborare congiuntamente un intero rollout lungo, riducendo notevolmente il costo della distillazione. 3) Proponiamo inoltre Stable Forcing, che inizializza lo studente autoregressivo mediante una strategia a pochi passaggi e sfrutta il replay dell’intero rollout per preservare la qualità dei rollout su orizzonti lunghi, garantendo una distillazione robusta e stabile. Numerosi esperimenti dimostrano la forte capacità di generalizzazione del nostro modello e le sue prestazioni superiori rispetto ai metodi esistenti.