SoloQ: quantizzazione senza calibrazione per i modelli linguistici a diffusione

Abstract degli autori

I modelli linguistici di grandi dimensioni a diffusione (dLLMs) si sono affermati come promettente alternativa ai modelli linguistici autoregressivi grazie alla generazione bidirezionale di token basata sulla diffusione. Tuttavia, le dimensioni crescenti dei modelli e gli elevati costi di inferenza ne rendono difficile l’impiego efficiente: la rimozione del rumore dall’intera sequenza richiede ripetuti passaggi di elaborazione computazionalmente onerosi, mentre i modelli a diffusione per blocchi introducono anche una KV-cache che richiede molta memoria. La quantizzazione a pochi bit di pesi e attivazioni è quindi interessante, ma i metodi esistenti di quantizzazione post-addestramento per i dLLMs dipendono da dati di calibrazione, nonostante le distribuzioni delle attivazioni cambino al variare degli stati di mascheramento e dei passaggi di rimozione del rumore. Presentiamo SoloQ, un framework di quantizzazione senza calibrazione che mappa pesi e attivazioni in una base ruotata normalizzata con una distribuzione marginale prevedibile, consentendo la quantizzazione indipendente dai dati. SoloQ combina una rotazione strutturata K-RPBH con una correzione leggera mediante riscalatura per ottenere una quantizzazione senza calibrazione. La prevedibilità della distribuzione dopo la rotazione permette di usare sia codebook adattati alla distribuzione sia il formato NVFP4 supportato nativamente dall’hardware. Per i modelli a diffusione per blocchi, SoloQ applica inoltre la quantizzazione della KV-cache al momento della conferma del blocco, comprimendo gli stati persistenti senza alterare il blocco in cui è in corso la rimozione del rumore. Sui dLLMs che elaborano l’intera sequenza (LLaDA e Dream) e sui dLLMs a diffusione per blocchi (Fast-dLLM v2 e Nemotron-Labs-Diffusion), SoloQ preserva l’accuratezza con una quantizzazione a 4 bit e supera i metodi di riferimento basati sulla calibrazione nei benchmark che richiedono conoscenze e capacità di ragionamento approfondite. Con NVFP4, SoloQ riduce il picco di utilizzo della memoria fino a 2,61X e accelera l’inferenza end-to-end fino a 2,24X.