Quantizzazione a potenze frazionarie di due per un’inferenza degli LLM efficiente ed efficace senza moltiplicazioni

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) richiedono un’inferenza efficiente, nella quale le operazioni di moltiplicazione e accumulo (MAC) delle proiezioni lineari dominano i costi computazionali ed energetici. La quantizzazione post-addestramento (PTQ) riduce questi costi convertendo pesi e attivazioni in interi a bassa precisione. La quantizzazione dei pesi a potenze di due (PoT) promette un’inferenza efficiente degli LLM senza moltiplicazioni, grazie a operazioni di traslazione e somma, ma a basse precisioni comporta un notevole calo di accuratezza a causa della griglia di quantizzazione in base 2 poco fine. Presentiamo Fractional PoT (FPoT), una griglia PoT frazionaria in base $\sqrt{2}$ (a mezza ottava) che consente una quantizzazione pratica dei pesi a 4 bit, mantenendo un percorso dati interamente basato su operazioni di traslazione e somma tra interi. Il metodo combina (i) la griglia dei pesi in base $\sqrt{2}$ con attivazioni intere quantizzate uniformemente, (ii) un perfezionamento dell’allineamento alla griglia durante la calibrazione, incorporato nel fattore di scala statico per canale, e (iii) un’approssimazione leggera di $\sqrt{2}$ che richiede un solo sommatore e il cui errore viene assorbito durante la calibrazione dei pesi tramite la quantizzazione su una griglia approssimata. Ne risulta un elemento di elaborazione (PE) con un numero di porte significativamente inferiore a quello di un moltiplicatore intero a 4 bit. Su Llama-3-8B, con pesi e attivazioni quantizzati a 4 bit, FPoT migliora dell’8,72% le prestazioni nel ragionamento di buon senso zero-shot rispetto alla baseline PoT, mantenendole vicine a quelle della baseline con quantizzazione uniforme a interi, con un calo trascurabile di appena 0,4%p. Questi risultati valgono per diverse configurazioni che comprendono sette modelli e tre larghezze di bit. Inoltre, FPoT può essere integrato con i metodi di PTQ per LLM all’avanguardia, dimostrando la sua applicabilità indipendentemente dal framework.