Velox: la memoria spaziale rende efficienti i modelli del mondo

Abstract degli autori

I modelli del mondo basati su video trasformano le azioni e i movimenti della telecamera in lunghe sequenze visive, rendendo il video un’interfaccia naturale per la simulazione interattiva. Questa interazione richiede una generazione reattiva, ma per restare coerenti le sequenze devono conservare la memoria visiva di quanto è già stato generato. I modelli di diffusione video che generano blocchi successivi mantengono di solito questo contesto in cache KV sempre più grandi, perciò i blocchi successivi diventano progressivamente più lenti. Per superare questo limite, presentiamo Velox, un sistema di instradamento dell’attenzione che non richiede addestramento e seleziona il contesto a livello di regione usando corrispondenze tra sezioni del frustum ricavate dalla geometria elaborata in streaming. Velox rappresenta i blocchi precedenti come sezioni del frustum della telecamera associate a intervalli di profondità e ricava la profondità del blocco corrente tramite un multiwarp che dà priorità ai dati più recenti. Nelle regioni ben coperte, la sovrapposizione tra le sezioni del frustum modula gradualmente l’importanza dei blocchi stimata dal modello per ciascun layer. Le regioni non coperte mantengono invece l’instradamento stabilito dal modello, senza distorsioni geometriche. La granularità fissa dei blocchi di token è compatibile con l’elaborazione a blocchi di tipo FlashAttention e riduce la componente dell’attenzione che cresce con la lunghezza della sequenza. La costruzione delle sezioni del frustum procede in modo asincrono rispetto al denoising sulla stessa H200. Al chunk 48, Velox accelera il calcolo dell’attenzione di $4.36\times$ e il denoising di $2.43\times$. Sull’intero split di navigazione WBench, composto da 158 casi, il suo punteggio medio senza API si discosta di non più di 0,15 punti da quello di dense LingBot-Fast-Cam. Per maggiori dettagli, consultare la pagina del progetto: https://velox-world.com/velox/