RAR: Rate-Adaptive Rollout per modelli del mondo interattivi coerenti nel tempo

Abstract degli autori

I modelli del mondo interattivi basati su video mirano a creare ambienti in tempo reale controllabili dagli utenti. La maggior parte dei sistemi esistenti, però, viene addestrata ed esegue il rollout a una frequenza temporale fissa. Questo limita sia l’adattamento della frequenza durante l’esecuzione sia l’estensione dell’orizzonte temporale fisico: una limitazione che chiamiamo *accoppiamento della frequenza temporale*. In particolare, quando la velocità di generazione durante l’esecuzione differisce dalla frequenza temporale appresa, il mondo generato evolve involontariamente più lentamente o più rapidamente. Inoltre, l’uso di un’unica frequenza temporale impone un compromesso intrinseco tra granularità temporale e orizzonte temporale fisico: frequenze più elevate colgono movimenti più dettagliati, ma coprono una durata inferiore con una finestra di contesto fissa. Per superare entrambe le limitazioni, introduciamo Rate-Adaptive Rollout (RAR), un framework che consente ai modelli del mondo interattivi di eseguire il rollout a frequenze temporali controllabili. Il suo elemento centrale, Stride-RoPE, allinea i fotogrammi latenti campionati a frequenze diverse su una coordinata condivisa del tempo fisico, rendendo possibili rollout coerenti a più frequenze, la generalizzazione a frequenze non osservate e il cambio di frequenza durante l’esecuzione senza scartare la cronologia. RAR usa inoltre il campionamento video a intervalli diversi per consentire l’apprendimento congiunto delle dinamiche a grana fine e dell’evoluzione su orizzonti temporali lunghi. In ambienti controllati tramite azioni o telecamera, RAR ottiene rollout temporalmente coerenti a più frequenze e il cambio di frequenza durante l’esecuzione, preservando la qualità della generazione ad alta frequenza ed estendendo gli orizzonti temporali fisici a parità di risorse destinate all’addestramento. RAR può essere applicato anche a modelli del mondo preaddestrati, preservando la qualità percettiva.