QuantWM: quantizzazione a 2 bit della cache KV con coerenza temporale per i modelli del mondo video

Abstract degli autori

I modelli del mondo video mantengono la coerenza temporale su lunghi intervalli conservando la cache KV durante la generazione. La crescita della cache, però, rende la memoria necessaria per conservarla un ostacolo importante alla distribuzione di questi modelli e motiva lo studio della quantizzazione a pochi bit per migliorarne l’efficienza. I metodi esistenti di quantizzazione a 2 bit della cache KV possono ottenere prestazioni quasi senza perdite su VBench; applicati ai modelli del mondo video, tuttavia, causano ancora un marcato sfarfallio temporale e un degrado della qualità visiva. Un’analisi più approfondita mostra inoltre che la quantizzazione delle Key produce errori di ricostruzione minori rispetto a quella delle Value, ma, sorprendentemente, provoca un peggioramento maggiore dell’output. Riconduciamo questa discrepanza all’attenzione nei modelli del mondo video: le perturbazioni delle Key possono modificare i logit dell’attenzione e cambiare i token spazio-temporali selezionati dalle Query. Queste osservazioni ci spingono a preservare i logit dell’attenzione e la selezione dei token spazio-temporali durante la quantizzazione della cache KV. Per affrontare il problema, presentiamo QuantWM, un framework di quantizzazione a 2 bit della cache KV per i modelli del mondo video che non richiede addestramento. QuantWM introduce due tecniche complementari per attenuare gli spostamenti dell’attenzione. La prima, il raggruppamento basato sulla sensibilità alla quantizzazione (QSAC), considera congiuntamente la sensibilità delle Query precedenti e gli intervalli dei residui per scegliere centroidi delle Key adatti a INT2, riducendo gli errori di quantizzazione nei canali più importanti per l’attenzione. La seconda, la compensazione dell’attenzione nel sottospazio principale (PSAC), corregge gli errori rimanenti delle Key lungo il sottospazio dominante delle Query mediante proiezioni a basso rango, offrendo una correzione diretta ed efficiente che stabilizza i logit dell’attenzione. Gli esperimenti su LingBot-World-v2, HY-World 1.5, Matrix-Game-2, Longcat-Video e Causal-Forcing mostrano che QuantWM migliora sensibilmente la qualità visiva e la coerenza temporale, superando i metodi esistenti nei benchmark con una compressione della memoria della cache KV fino a 6,20 volte e un sovraccarico aggiuntivo limitato.