SARATHI: valutazione senza dati e ricostruzione adattiva, disaccoppiate, per il pruning strutturato degli LLM

Abstract degli autori

Il pruning strutturato riduce il costo dell’inferenza dei modelli linguistici di grandi dimensioni (LLM) eliminando definitivamente neuroni e righe di pesi, con un’accelerazione su modelli densi indipendente dall’hardware. I metodi post-addestramento esistenti vincolano la selezione dei neuroni e la ricostruzione dei pesi a un dataset di calibrazione condiviso, introducendo distorsioni legate al dominio e causando errori per esaurimento della memoria a livelli elevati di sparsità. Proponiamo SARATHI, un framework che disaccoppia queste due fasi. \emph{NMF Residual Subspace Probe} attribuisce un punteggio ai neuroni in base alla geometria intrinseca dei pesi, senza accedere ad alcun dato di calibrazione, e presenta un legame formale con Robust PCA. \emph{Adaptive OBS} ricostruisce poi i pesi dopo il pruning usando un batch di calibrazione localizzato, con un picco di memoria di $\mathcal{O}(d^2)$ per livello, eliminando il collo di bottiglia della memoria globale dei metodi che accoppiano le due fasi. Un passaggio di \emph{Bias Shift Compensation} corregge la deriva sistematica delle attivazioni nelle architetture post-LayerNorm, che altrimenti causerebbe un crollo della perplexity a livelli elevati di sparsità. Esperimenti su sei modelli di due famiglie architetturali (FFN con e senza gating), con sparsità del 15--40\%, mostrano che SARATHI ottiene una perplexity competitiva e, in termini di accuratezza zero-shot, eguaglia o supera i metodi di riferimento esistenti per il pruning strutturato.