Quantizzazione vettoriale addestrabile per i modelli linguistici di grandi dimensioni

Abstract degli autori

La quantizzazione vettoriale (VQ) è una tecnica in rapida evoluzione per comprimere i pesi dei modelli linguistici di grandi dimensioni (LLM), ridurre l’uso della memoria e accelerare l’inferenza. Tuttavia, una compressione estrema deteriora le prestazioni del modello, che sono difficili da recuperare a causa della natura discreta dei parametri VQ. I metodi esistenti impiegano approcci senza addestramento, limitati alla minimizzazione della loss di ricostruzione strato per strato. Per superare questo limite, proponiamo TVQ, un nuovo metodo che sfrutta la stima straight-through per consentire l’ottimizzazione dei LLM quantizzati vettorialmente mediante discesa del gradiente. Riformulando l’ottimizzazione dei LLM con VQ attraverso pesi latenti addestrabili, TVQ permette di minimizzare funzioni obiettivo arbitrarie. Concretizziamo il nostro approccio applicando TVQ a un paradigma di distillazione della conoscenza a blocchi, che bilancia qualità ed efficienza di addestramento, e proponiamo diverse soluzioni pratiche per accelerare l’addestramento. Negli esperimenti sui moderni LLM, dimostriamo che TVQ è compatibile con gli schemi VQ moderni. Di conseguenza, TVQ raggiunge risultati allo stato dell’arte nella quantizzazione post-addestramento a pochi bit, con un budget di addestramento contenuto e un’implementazione PyTorch semplice. Per esempio, TVQ ottiene una quantizzazione a 2 bit quasi senza perdita per LLaMA2-70B, con un calo dell’accuratezza di appena l’1% sui benchmark più diffusi di question answering.