Migliorare la compressione degli LLM basata sulla SVD con la ricerca di modelli dell’errore strato per strato

Abstract degli autori

La compressione basata sulla SVD a basso rango offre un modo efficace per ridurre i costi computazionali degli LLM. I metodi esistenti presentano però due limiti principali: (i) nell’allocazione globale del rango, gli indicatori surrogati dell’errore non calibrati non riescono a cogliere la complessa propagazione degli errori; (ii) nella qualità della decomposizione, gli stimatori basati su Fisher soffrono di un grave collasso del rango. In questo lavoro affrontiamo questi limiti introducendo Layer-wise Error Modeling Search (LEMS) e KFAC-SVD. LEMS migliora l’allocazione del rango introducendo un modello surrogato dell’errore strato per strato che combina l’importanza locale e globale dei livelli con un bias di propagazione, consentendo un’efficace allocazione globale del rango tramite una formulazione ILP. KFAC-SVD migliora la qualità della decomposizione usando statistiche calcolate token per token e attenuando il deficit di rango osservato nei precedenti approcci SVD basati su Fisher. Nei modelli delle famiglie Mistral, Qwen3 e Llama 3, mostriamo che LEMS supera sistematicamente le strategie di ricerca esistenti, con incrementi significativi dell’accuratezza zero-shot fino a 4,8 punti percentuali che si estendono a modelli da 70B parametri, mentre KFAC-SVD ottiene un miglioramento medio della perplexity del 15%. Pagina del progetto e codice: https://lems-svd.github.io