The Pulse
4LC riduce di 68,5 volte il tempo di preparazione delle condizioni per i modelli del mondo
Un gruppo di ricerca ha presentato 4LC, una cache latente 4D che riutilizza le caratteristiche visive per preparare le condizioni dei modelli del mondo per i video, senza renderizzare e codificare ogni nuova richiesta. Secondo l’articolo, l
AI.info Team · Scritto con l’IA ·
Una cache latente 4D ha ridotto fino a 68,5 volte il tempo necessario a preparare le condizioni visive per i modelli del mondo per i video, secondo i test riportati in un articolo pubblicato su arXiv il 13 ottobre. Il sistema, chiamato 4LC, ha anche registrato un picco di memoria GPU fino a 12,6 volte inferiore rispetto a una pipeline di confronto che renderizza una scena e poi la codifica. I miglioramenti riguardano l’acquisizione delle condizioni, cioè la preparazione delle informazioni sulla scena per una richiesta di generazione, non l’intero processo di generazione del video.
4LC riutilizza le caratteristiche invece di ricostruire ogni vista
I modelli del mondo devono spesso generare una scena da diverse posizioni della telecamera o in momenti diversi. Le pipeline esistenti possono renderizzare una nuova vista RGB a partire da una scena ricostruita e codificare l’immagine per ogni richiesta. 4LC memorizza invece le caratteristiche visive insieme alla geometria e al movimento condivisi della scena, per poi leggere le informazioni nella cache al momento e dal punto di vista richiesti.
La cache combina rappresentazioni prodotte da codificatori visivi che rilevano informazioni diverse, tra cui aspetto, semantica, geometria e movimento. La lettura può anche combinare le osservazioni per riempire le regioni non coperte da una singola voce della cache. «Una volta memorizzate le osservazioni nella cache, le richieste successive leggono direttamente le rappresentazioni archiviate invece di renderizzarle e codificarle di nuovo», scrivono Jianhui Zhang, Zuyao Lin, Pengxin Xu, Jingdong Wang e Xingyu Chen nell’articolo.
Il risultato di 68,5 volte riguarda la preparazione della scena
I ricercatori confrontano la lettura di 4LC con il rendering e la codifica VAE in NeoVerse, un sistema che costruisce le condizioni a partire da una scena 4D basata su Gaussian splatting. In questo confronto, la fase di acquisizione delle condizioni di 4LC è 68,5 volte più veloce e usa un picco di memoria GPU 12,6 volte inferiore. La configurazione di test comune descritta nell’articolo usa il modello Wan2.1 e il codificatore VAE per richieste di 81 fotogrammi a 560 × 336 pixel.
Gli autori confrontano anche il tempo complessivo di generazione nelle stesse condizioni. L’acquisizione delle condizioni rappresenta il 14,9% dei 18,47 secondi impiegati da NeoVerse per la generazione, contro lo 0,25% dei 16,19 secondi di 4LC-Video. Questi dati mostrano che 4LC riduce nettamente la quota di lavoro dedicata alla preparazione delle condizioni; non significano che il video completo venga generato 68,5 volte più velocemente.
Un solo modello gestisce cinque compiti di generazione
Basato sulla cache, 4LC-Video usa un solo modello per il controllo della telecamera, il controllo temporale, la sintesi di nuove viste, le rivisitazioni delle scene e la generazione a lungo termine, senza fine-tuning specifico per ciascun compito. L’articolo valuta un unico checkpoint su tutti questi compiti e riferisce che mantiene la coerenza della scena seguendo le modifiche richieste alla telecamera e al tempo. Nella generazione a lungo termine, ogni nuovo segmento aggiunge osservazioni alla cache per un uso successivo.
I risultati restano quelli riportati dagli autori nei benchmark: non dimostrano che il sistema offrirà gli stessi incrementi di velocità in ogni contesto d’uso. 4LC dipende da un modello di ricostruzione 4D feed-forward per stimare profondità, parametri della telecamera e movimento, e gli errori in queste stime possono influire sulle informazioni lette dalla cache. La configurazione per la generazione a lungo termine riutilizza inoltre solo i contenuti statici dei segmenti precedenti, lasciando a lavori futuri il riutilizzo dei contenuti dinamici tra segmenti.
Il riutilizzo della storia dinamica resta da verificare
Questa limitazione conta per le scene in cui i cambiamenti importanti comprendono persone o oggetti in movimento, oppure altre attività: conservare la disposizione della scena non equivale a mantenere l’evoluzione del suo movimento. L’articolo presenta un metodo per leggere le caratteristiche nella cache in nuovi momenti e da nuovi punti di vista, ma nei suoi esperimenti sulla generazione a lungo termine limita il riutilizzo delle informazioni passate alle unità statiche. Resta da capire se 4LC possa estendere la propria memoria alla storia dinamica senza perdere coerenza.