SQS: compressione bayesiana delle DNN tramite sottodistribuzioni sparse e quantizzate

Abstract degli autori

Comprimere le reti neurali di grandi dimensioni è essenziale per distribuire i modelli su dispositivi con risorse limitate. La maggior parte dei metodi esistenti adotta separatamente la potatura dei pesi o la quantizzazione a pochi bit, ottenendo spesso tassi di compressione non ottimali per mantenere i cali di prestazioni entro limiti accettabili. Presentiamo un quadro unificato per la potatura e la quantizzazione a pochi bit simultanee tramite apprendimento variazionale bayesiano (\method), che raggiunge tassi di compressione superiori a quelli dei metodi di riferimento precedenti, mantenendo prestazioni comparabili. L’idea centrale è usare una distribuzione a priori spike-and-slab per indurre sparsità e modellare i pesi quantizzati mediante modelli di mistura di gaussiane (GMM), così da consentire una rappresentazione a pochi bit. Poiché la funzione obiettivo che coinvolge distribuzioni a priori spike-and-slab e GMM è intrattabile, ricaviamo un’approssimazione efficiente che permette una compressione efficace con una perdita minima di accuratezza. Sul piano teorico, forniamo un risultato di consistenza per l’approccio variazionale che proponiamo per una rete neurale profonda sparsa e quantizzata. Ampi esperimenti di compressione dei modelli ResNet, BERT-base, Llama3.2 e Qwen2.5 mostrano che il nostro metodo raggiunge tassi di compressione superiori a quelli di una serie di metodi esistenti, con cali di prestazioni comparabili. Pagina del progetto: https://comeusr.github.io/SQS_Webpage.