Compressione estrema degli embedding per livello mediante quantizzazione vettoriale latente tra livelli

Abstract degli autori

Aumentare la capacità degli embedding di pari passo con il calcolo dei Transformer è una tendenza emergente nei modelli linguistici. Questa tendenza rende sempre più utili gli elevati rapporti di compressione. Studiamo quindi la compressione estrema degli embedding per livello (PLE), che seguono questa tendenza e rappresentano il 35,2% dei parametri di Gemma 4 E4B. A questi rapporti di compressione, i quantizzatori convenzionali assegnano a ogni vettore relativo a un token e a un livello un codice distinto di pochi byte. Noi sviluppiamo invece OPTIC (Output-Path-fitted, Token-shared Indexed Codes), che memorizza una sola tupla di codici quantizzati per token e la decodifica a ogni livello con un decoder affine specifico per quel livello. I codici e i decoder sono adattati al percorso di output dei PLE anziché ai vettori memorizzati. Con una compressione dei PLE di E4B in bfloat16 (BF16) di circa $100\times$, OPTIC conserva complessivamente il 97,8% delle prestazioni del modello non compresso su sette benchmark, mentre la quantizzazione di prodotto, la migliore tra sei tecniche convenzionali usate come riferimento, ne conserva il 66,3%. Con una compressione dei PLE di E4B in BF16 pari a $594\times$ e $1,002\times$, OPTIC conserva rispettivamente il 90,5% e l’84,1%. Sulla versione ufficiale di E4B con pesi lineari a 4 bit e attivazioni a 16 bit (W4A16), OPTIC conserva il 96,9% con una compressione dei PLE di circa $100\times$. Durante l’inferenza, con una compressione dei PLE di circa $100\times$, E4B in BF16 utilizza il 29,7% di memoria GPU in meno rispetto alla versione con PLE non compressi, a parità di dimensioni della cache delle coppie chiave-valore, e registra un rallentamento massimo dello 0,40%.