Oltre i layer adiacenti: fusione dei layer guidata da grafi per comprimere i modelli linguistici di grandi dimensioni

Abstract degli autori

I metodi esistenti di compressione in profondità per i modelli linguistici di grandi dimensioni (LLM) valutano i layer singolarmente o raggruppano soltanto layer adiacenti o contigui, presupponendo implicitamente che la ridondanza funzionale sia locale. Verifichiamo questa ipotesi calcolando matrici complete di similarità pairwise con Centered Kernel Alignment (CKA) per tredici LLM appartenenti a sei famiglie architetturali (da 1,6B a 14B parametri). I layer non adiacenti presentano da 3,6 a 15,9 volte più coppie ad alta similarità rispetto a quelli adiacenti: una struttura che i precedenti metodi di fusione dei layer basati sulla similarità non hanno sfruttato in modo sistematico. Proponiamo Fusion via Community Mining (FCM), che costruisce il grafo completo di similarità L x L, usa il rilevamento spettrale delle comunità per individuare cluster di layer funzionalmente equivalenti, conserva il layer con il Block-Influence più alto in ciascun cluster e applica il recupero LoRA; una regola prestabilita, calcolata solo sui dati di calibrazione, sceglie tra similarità coseno e CKA. Con una compressione 2x, FCM riduce la perplexity media più di ShortGPT su dodici modelli su tredici, con una differenza statisticamente significativa su dieci (test t di Welch con correzione di Holm-Bonferroni; fino al 50% su Qwen3-4B); Mistral-7B è l’unico modello con un peggioramento (+13,4%). Nel confronto con FlattenGPT, SWM e DeltaLLM, a parità di calibrazione e recupero, FCM ottiene la perplexity migliore su dieci modelli su tredici (posizione media in classifica: 1,15) e supera anche MKA su tre modelli di riferimento. FCM eguaglia o supera ShortGPT in 15 delle 20 celle di ragionamento zero-shot e migliora anche MMLU, LAMBADA, HumanEval pass@1 e la qualità della generazione libera. Qwen2.5-7B compresso 2x ha il 46% di parametri in meno, un picco di VRAM inferiore del 42% e una velocità di decodifica superiore dell’84% su una singola A100. Il raggruppamento spettrale supera la segmentazione contigua di Fisher del 41% e il partizionamento uniforme del 51%; il vantaggio di FCM cresce oltre il punto di crossover a 2x, fino a 3x, e si mantiene anche alla scala di 14B. Codice: https://github.com/Usama1002/fcm-layer-fusion