DeCoPrune: potatura efficiente della cache KV per la diffusione video autoregressiva tramite la coerenza del denoising

Abstract degli autori

La diffusione video autoregressiva consente la generazione in streaming e il controllo interattivo, ma la sua cache KV cresce continuamente con la sequenza generata. Le strategie di compressione esistenti scartano parte della sequenza usando finestre di dimensione fissa oppure selezionano i token in base a segnali locali di attenzione e somiglianza, che non misurano direttamente se il segmento corrente apporti informazioni ulteriori rispetto al contesto conservato. Presentiamo DeCoPrune, un metodo che non richiede addestramento e tratta la compressione della cache come un problema di coerenza nella rimozione del rumore. Osserviamo empiricamente che la difficoltà di rimozione del rumore è un utile indicatore del valore di un token per la conservazione a lungo termine: i token con maggiori discrepanze tra un passaggio intermedio e il risultato finale tendono a contenere informazioni visive meno prevedibili a partire dal contesto conservato. DeCoPrune misura la difficoltà di rimozione del rumore di ciascun token del segmento corrente confrontando la sua predizione intermedia del dato pulito con il valore finale dopo la rimozione del rumore. Conserva nella cache a lungo termine i token con discrepanze elevate ed elimina quelli con discrepanze ridotte. Per valutare la conservazione delle informazioni, presentiamo CMBench, che comprende 58 episodi di contesto generati o tratti dal mondo reale, della durata di circa un minuto, e 116 compiti di continuazione Reappear o Revisit che richiedono di ricordare oggetti o scene specifici osservati in precedenza. Gli esperimenti con LingBot World v2 mostrano che DeCoPrune mantiene una capacità di richiamo a lungo raggio vicina a quella di FullKV, pur eliminando oltre l’85% dei token KV della sequenza precedente e accelerando la generazione della continuazione di oltre $4\times$. A parità di risorse disponibili, supera nettamente i metodi di compressione di riferimento valutati. Questi risultati indicano che la coerenza nella rimozione del rumore può fungere da segnale interno al modello per conservare le informazioni a lungo raggio, riducendo al tempo stesso il costo dell’inferenza autoregressiva. La pagina del progetto è https://decoprune.github.io. Il codice è disponibile all’indirizzo https://github.com/DeCoPrune/CMBench, e il benchmark all’indirizzo https://huggingface.co/datasets/Aoraku/CMBench.