DictLLM: compressione post-training di un modello linguistico di grandi dimensioni con kernel di dizionario

Abstract degli autori

Per distribuire in modo efficiente i modelli linguistici di grandi dimensioni (LLM) sui dispositivi mobili occorre bilanciare le prestazioni con i vincoli di calcolo e memoria. La compressione post-training è un approccio efficace per gestire questo compromesso e richiede molti meno calcoli rispetto ai metodi che intervengono durante l’addestramento. Proponiamo DictLLM, uno schema di compressione basato su dizionari in cui le matrici dei pesi all’interno di gruppi di strati vengono scomposte in un dizionario condiviso e coefficienti sparsi specifici per ogni strato, ottenuti direttamente da un modello pre-addestrato senza ulteriore addestramento. In particolare, formuliamo DictLLM come un’ottimizzazione post-training in quattro fasi. Per prima cosa, ricaviamo dizionari condivisi tramite la decomposizione ai valori singolari (SVD) di matrici dei pesi scalate in base agli input, ammortizzando il rango tra gli strati raggruppati; in secondo luogo, rendiamo sparsi i coefficienti specifici dei singoli strati fino a raggiungere il rapporto di compressione desiderato, usando un Hessiano che tiene conto del dizionario; in terzo luogo, affiniamo i dizionari sulla base dei coefficienti sparsi ottenuti. Infine, quantizziamo in modo aggressivo entrambi i componenti usando informazioni dell’Hessiano specifiche per ciascun fattore: la covarianza degli input per i dizionari e l’Hessiano che tiene conto del dizionario per i coefficienti. La rappresentazione risultante riduce l’ingombro in memoria memorizzando un solo dizionario condiviso per ciascun gruppo di strati, insieme ai coefficienti sparsi specifici dei singoli strati. Nei benchmark di modellazione del linguaggio e di ragionamento zero-shot, DictLLM supera costantemente gli attuali metodi di compressione post-training a basso rango e sposta la frontiera di Pareto tra dimensioni del modello e prestazioni. DictLLM comprime il modello originale LLaMA-7B di 5,1×, con un aumento di soli 2,9 punti della perplexity su WikiText-2, raggiungendo un rapporto di compressione 3,6× superiore a quello del metodo a basso rango allo stato dell’arte.