CtrlCache: accelerare i modelli del mondo video interattivi con una cache sensibile ai comandi

Abstract degli autori

I modelli del mondo video interattivi devono generare ogni segmento video in modo efficiente, rispondendo fedelmente ai comandi dell’utente. Molti sistemi usano una generazione autoregressiva segmento per segmento, con un processo di rimozione del rumore in pochi passaggi, ma ogni segmento richiede comunque diverse iterazioni costose. Il riutilizzo dei risultati memorizzati nella cache può ridurre questo costo senza addestramento aggiuntivo; le strategie esistenti, però, decidono cosa riutilizzare principalmente in base alla dinamica interna del modello durante la rimozione del rumore e non tengono esplicitamente conto dei cambiamenti dei comandi. Eppure la generazione interattiva mette a disposizione un segnale che queste strategie non usano: i comandi relativi a un segmento arrivano prima che inizi la rimozione del rumore, quindi definire una sequenza di calcolo sulla loro base non richiede alcun passaggio forward. A questo scopo, analizziamo segmenti adiacenti in diverse condizioni di controllo e osserviamo che la somiglianza strutturale diminuisce in corrispondenza dei cambiamenti di azione, mentre le strutture a bassa frequenza persistono più dei dettagli ad alta frequenza. Sulla base di queste osservazioni, proponiamo CtrlCache, un sistema di cache sensibile ai comandi che non richiede addestramento aggiuntivo e adatta il calcolo alla sequenza di comandi corrente. Nello specifico, la strategia di pianificazione e aggiornamento sensibile alle azioni rileva i cambiamenti di azione tra i segmenti e al loro interno e classifica ciascun segmento come iniziale, di transizione, di svolta o stazionario. In un passaggio intermedio selezionato della rimozione del rumore, i segmenti iniziali e di transizione mantengono il calcolo completo, mentre quelli di svolta e stazionari riutilizzano il residuo del transformer ottenuto nel passaggio più recente calcolato per intero nello stesso segmento. Per sfruttare la persistenza delle strutture a bassa frequenza durante un’interazione stazionaria, introduciamo inoltre una guida basata su un prior storico a frequenze miste, che incorpora informazioni complementari dal latente pulito precedente senza un ulteriore passaggio forward del DiT. Valutato su Matrix-Game 2.0 e LingBot-World v1/v2, CtrlCache accelera il backbone DiT da 1,21x a 1,41x senza riaddestrare il modello e migliora i punteggi complessivi di WBench rispetto all’inferenza originale per tutti e tre i modelli.