H-DDCM: codebook di Hadamard per la compressione generativa rapida di immagini e video

Abstract degli autori

I metodi di compressione basati sulla diffusione che non richiedono addestramento sfruttano i priori generativi di un modello di diffusione o di flusso per comprimere i dati senza riaddestrare tali modelli come codec specifici per il compito. I recenti approcci basati su codebook, come Turbo-DDCM, ottengono un’elevata qualità percettiva a bitrate estremamente bassi, ma la loro dipendenza da codebook gaussiani densi resta costosa sia in termini di memoria sia di calcolo e si adatta male alle elevate dimensionalità latenti dei moderni generatori di immagini e video. A questa scala, anche la codifica combinatoria del flusso di bit diventa onerosa dal punto di vista computazionale. Presentiamo H-DDCM, un sistema scalabile di compressione generativa che sostituisce i codebook gaussiani con dizionari di Hadamard impliciti e randomizzati. La trasformata veloce di Walsh-Hadamard consente di generare implicitamente dizionari a dimensione piena con un costo computazionale di $O(d \log d)$ per la proiezione e la ricostruzione e un impiego di memoria di $O(d)$, senza dover materializzare l’intero dizionario. Introduciamo inoltre un efficiente schema di codifica lessicografica senza tabelle, che rende praticabile la codifica combinatoria a dimensionalità maggiori. Oltre alle immagini, adattiamo il sistema a un modello autoregressivo di flusso per i video e sviluppiamo uno schema di compressione in streaming che ricodifica periodicamente i fotogrammi ricostruiti di recente in un nuovo prefisso della KV-cache, preservando il contesto temporale tra i segmenti senza trasmettere bit aggiuntivi. Ciò consente di comprimere video lunghi con un metodo generativo, quasi in tempo reale, su una singola GPU. Nei benchmark per immagini e video, H-DDCM ottiene prestazioni competitive in termini di bitrate, distorsione e percezione, riducendo notevolmente i costi di memoria e calcolo della compressione generativa senza addestramento basata su codebook.