MPQ: una prospettiva basata sul passaggio di messaggi per la quantizzazione post-addestramento

Abstract degli autori

La quantizzazione post-addestramento (PTQ) è una tecnica fondamentale per distribuire in modo efficiente i modelli linguistici di grandi dimensioni: comprime i pesi in rappresentazioni a pochi bit senza riaddestrare il modello. I metodi esistenti per la PTQ, tra cui GPTQ, LDLQ e la discesa a coordinate per blocchi, assegnano a ogni blocco di pesi un’unica parola di codice prima di considerare i blocchi vicini, lasciando inesplorate alternative quasi ottimali. In questo lavoro formuliamo la PTQ per riga come un problema di inferenza a posteriori su insiemi discreti di parole di codice. In questa formulazione, i metodi esistenti corrispondono a un limite a temperatura zero con decisioni nette, che conserva soltanto la migliore parola di codice per ciascun blocco. Proponiamo Message-Passing Quantization (MPQ), un metodo che preserva le informazioni probabilistiche a posteriori tra i blocchi durante l’inferenza e assegna parole di codice definitive soltanto nella fase di output. MPQ usa dapprima il passaggio approssimato di messaggi vettoriali per calcolare distribuzioni a posteriori approssimate per ciascun blocco, poi perfeziona un’inizializzazione a decisioni nette mediante una discesa esatta a coordinate per blocchi. Nella quantizzazione reticolare a 2 bit e in quella scalare a 3 e 4 bit applicate a modelli linguistici densi delle famiglie Llama, Qwen e Mistral, MPQ migliora la perplessità e l’accuratezza zero-shot rispetto a solidi metodi di riferimento basati su decisioni nette. Inoltre, si combina efficacemente con tecniche di pre-elaborazione come il riscalamento che tiene conto delle attivazioni e l’elaborazione dell’incoerenza. La nostra implementazione è disponibile all’indirizzo https://github.com/poseidonchan/MPQ.