SparseDecoding: pruning calibrato sulla decodifica per un’inferenza accurata ed efficiente dei modelli linguistici di grandi dimensioni

Abstract degli autori

Nell’inferenza dei modelli linguistici di grandi dimensioni (LLM), la fase di decodifica è limitata dalla velocità di accesso alla memoria, con una latenza significativa. Una soluzione importante a questo problema è il pruning della rete strato per strato, senza addestramento e guidato dalla matrice hessiana: il pruning riduce infatti il numero di parametri non nulli da leggere dalla memoria durante la decodifica. Tuttavia, i metodi di questo tipo calcolano di norma la matrice hessiana usando sequenze naturali raccolte in precedenza, mentre durante la decodifica il modello riceve token che ha generato esso stesso. Ne deriva uno scarto nella distribuzione delle due sequenze. La matrice hessiana calcolata sulla sequenza naturale è diversa da quella calcolata sulla sequenza generata. Osserviamo che questa discrepanza fa sì che la distribuzione delle attivazioni durante la generazione si discosti da quella usata per il pruning, peggiorando ulteriormente le prestazioni del modello sottoposto a pruning. Inoltre, la maggior parte dei metodi di pruning degli LLM esistenti che producono un’accelerazione effettiva si concentra soprattutto sulla moltiplicazione tra matrici sparse (SpMM), offrendo un supporto limitato alle operazioni di moltiplicazione tra matrice sparsa e vettore (SpMV), che predominano nella decodifica. Per risolvere questi problemi, introduciamo SparseDecoding, un framework di pruning fondato sulla decodifica e progettato per una decodifica degli LLM accurata ed efficiente. Sul piano algoritmico, SparseDecoding costruisce matrici di calibrazione a partire dalle attivazioni dei singoli strati raccolte durante la generazione autoregressiva del modello denso, escludendo la fase di prefill: in questo modo, l’obiettivo del pruning è allineato alle attivazioni della decodifica. Sul piano del sistema, sviluppiamo un kernel ottimizzato per la moltiplicazione tra matrice sparsa N:M e vettore, con indicizzazione tramite bitmask e attraversamento a passo fisso. Ampi risultati empirici su LLM rappresentativi (Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B / 32B) mostrano che il nostro metodo supera sistematicamente la calibrazione standard basata su testi fissi nei benchmark di generazione di testi lunghi, ottenendo al contempo un’accelerazione fino a 1,48x della decodifica end-to-end, misurata in tempo effettivo, su GPU A100.