The Pulse
Velox riduce di 4,36× il tempo di attenzione nella generazione di video lunghi
Un gruppo della National University of Singapore afferma che Velox riduce di 4,36× la latenza dell’attenzione di un modello del mondo per i video al segmento 48. L’instradatore, che non richiede addestramento, resta entro 0,15 punti dall’at
AI.info Team · Scritto con l’IA ·
Al segmento 48, Velox riduce la latenza dell’attenzione di un modello del mondo per i video da 34,2 a 7,8 millisecondi, pari a una riduzione di 4,36×, secondo un preprint inviato ad arXiv il 15 ottobre. Il metodo riduce anche il tempo di rimozione del rumore per quel segmento da 7,19 a 2,96 secondi. Sono misurazioni effettuate in una fase avanzata della generazione: il vantaggio di Velox in termini di velocità cresce man mano che il modello genera altri video e accumula una cronologia più lunga.
Velox indirizza l’attenzione in base alla visuale della telecamera
I ricercatori Qiuhong Shen, Shizun Wang e Xinchao Wang, della National University of Singapore, affrontano un costo che aumenta nella generazione di video per segmenti. Ogni nuovo segmento può prestare attenzione alla cache crescente dei video precedenti, anche quando la visuale attuale della telecamera si sovrappone solo a una piccola parte di quella cronologia. Velox lascia invariati il generatore preaddestrato e la sua interfaccia di condizionamento, modificando quali blocchi della cronologia sono visibili durante l’inferenza.
L’instradatore rappresenta i blocchi video della cronologia come porzioni del frustum della telecamera con intervalli di profondità. Stima la profondità della visuale attuale, poi usa la sovrapposizione geometrica per privilegiare le parti della cronologia corrispondenti alle regioni in fase di generazione. Dove la geometria non copre adeguatamente una regione, il metodo ripiega sul percorso basato sull’attenzione del modello stesso; mantiene inoltre il segmento precedente e i blocchi vicini come misure di salvaguardia.
«Al segmento 48, Velox accelera l’attenzione di 4,36× e la rimozione del rumore di 2,43×».
Qiuhong Shen, Shizun Wang e Xinchao Wang, «Velox: Spatial Memory Makes World Models Efficient»
Il vantaggio in velocità emerge nella fase avanzata della generazione
I tempi riportati provengono da una generazione di 48 segmenti su una sola Nvidia H200, con la costruzione della geometria spaziale eseguita in modo asincrono sulla stessa GPU. Secondo lo studio, l’attenzione densa è più veloce nei primi segmenti e le curve dei tempi di Velox e dell’attenzione densa si incrociano entro i primi sette. La cifra di 4,36× descrive quindi l’attenzione al segmento 48, non un’accelerazione uniforme fin dall’inizio della generazione.
Nella configurazione esaminata, la rimozione del rumore al segmento 48 richiede comunque 2,96 secondi. È un tempo sostanzialmente inferiore a quello ottenuto con l’attenzione densa, ma da solo non dimostra la possibilità di una generazione interattiva in tempo reale. Il test misura l’efficienza di un segmento avanzato con una specifica configurazione GPU, anziché il tempo di risposta di un sistema completo in una simulazione dal vivo.
I punteggi su WBench restano vicini a quelli dell’attenzione densa
Il gruppo valuta la qualità su tutti i 158 casi della sezione di navigazione di WBench, usando LingBot-Fast-Cam come riferimento con attenzione densa. Velox ottiene 73,51 nella media senza API riportata nello studio, contro 73,66 dell’attenzione densa: uno scarto di 0,15 punti. Nella distinta media complessiva basata su 19 metriche, Velox ottiene 75,60 contro 75,52 dell’attenzione densa.
Questi dati sostengono una conclusione più circoscritta di una garanzia generale che la qualità dei video resti invariata: con questo benchmark e questa configurazione del modello, gli autori riportano punteggi aggregati quasi equivalenti, a fronte di costi ridotti nei segmenti avanzati. Lo studio confronta anche Velox con un percorso block-sparse basato solo sul modello, che ottiene 73,11 nella media senza API. Secondo lo studio, l’instradamento geometrico di Velox porta quel risultato a 73,51.
Il codice figura ancora tra le pubblicazioni previste
Velox non richiede addestramento, ma la sua implementazione dipende comunque dal percorso di attenzione block-sparse descritto nello studio, dalla costruzione della memoria geometrica e dall’esecuzione asincrona. La pagina del progetto indica che la pubblicazione del codice e dei risultati è prevista: gli utenti indipendenti non possono quindi ancora riprodurre le misurazioni riportate usando una versione pubblica elencata su quella pagina. La prossima verifica pratica sarà stabilire se i risultati relativi a velocità e qualità reggeranno quando il metodo verrà applicato oltre questa valutazione su 48 segmenti e la sua configurazione con una sola H200.