Potatura degli esperti consapevole della modalità per modelli linguistici multimodali di grandi dimensioni basati su MoE

Abstract degli autori

La Mixture-of-Experts (MoE) consente ai modelli linguistici multimodali di grandi dimensioni (MLLM) di aumentare efficacemente la capacità, ma i parametri degli esperti occupano la maggior parte della memoria, anche se per ogni token vengono attivati solo pochi esperti: nei moderni MoE-MLLM rappresentano oltre il 90% delle dimensioni del modello (per esempio, 54 GB su circa 58 GB in BF16 per InternVL3.5-30B-A3B e Qwen3-VL-30B-A3B). La potatura degli esperti si è affermata come un’efficace strategia di compressione, ma i metodi esistenti aggregano uniformemente l’importanza tra i token, ignorando che lo stesso esperto può svolgere ruoli diversi nell’elaborazione visiva e in quella linguistica. Per affrontare questo problema, proponiamo MAEP (Modality-Aware Expert Pruning), un framework che non richiede addestramento e scompone l’importanza degli esperti in base alla modalità con un unico passaggio forward. MAEP introduce (1) Delta-H Output ($ΔH$), una metrica che tiene conto della ridistribuzione e misura la variazione dell’output MoE quando un esperto viene rimosso, e (2) token visivi a bassa attenzione come segnale di potatura per il versante visivo, stabile tra dataset diversi: la graduatoria dell’importanza degli esperti resta stabile al variare dei dataset. L’importanza sul versante testuale funge da segnale di conservazione, mentre quella sul versante visivo funge da segnale di potatura; gli esperti sono classificati globalmente tra i livelli. Gli esperimenti su tre MLLM basati su MoE, condotti con benchmark multimodali e testuali, mostrano che MAEP supera i metodi di riferimento che non distinguono le modalità nella maggior parte dei benchmark multimodali, mantenendo prestazioni competitive nei compiti esclusivamente testuali. Il metodo riduce di circa 27 GB l’ingombro in memoria dei pesi degli esperti in BF16 (circa il 47% della memoria totale), consentendo così di far rientrare l’intero ingombro dei pesi di un modello da circa 58 GB in una singola GPU da 40 GB. Il codice è disponibile all’indirizzo https://github.com/nota-github/MAEP.