PACE: compressione adattiva di Pareto per MLLM nativi efficienti

Abstract degli autori

I modelli linguistici di grandi dimensioni multimodali nativi (MLLM nativi) codificano congiuntamente sequenze visive e linguistiche all’interno di un unico Transformer autoregressivo, emergendo come un paradigma promettente per la comprensione multimodale. A differenza degli MLLM convenzionali basati su ViT, che si affidano a encoder visivi esterni, gli MLLM nativi senza ViT tokenizzano direttamente le patch di pixel, con il rischio di una notevole ridondanza dei token visivi. Uno studio preliminare lo conferma: a differenza dei modelli basati su ViT, che peggiorano con la compressione, gli MLLM senza ViT tollerano una compressione aggressiva, mantenendo prestazioni quasi senza perdite o persino migliorandole. Tuttavia, i metodi di compressione esistenti sono pensati per configurazioni basate su ViT, lasciando inesplorati gli MLLM nativi, che sono quelli che potrebbero trarne il massimo vantaggio. Per colmare questa lacuna, introduciamo una pipeline di analisi incentrata sulla discriminabilità dei token e sulla ridondanza eterogenea tra dimensioni, che rivela che (i) la ridondanza si distribuisce in modo indipendente ed eterogeneo lungo gli assi dell’altezza e della larghezza e (ii) i token visivi dei primi strati sono indistinguibili e uniformemente ridondanti. Sulla base di questi risultati, proponiamo PACE (compressione adattiva di Pareto per MLLM nativi efficienti), il primo framework di compressione dei token visivi progettato per gli MLLM nativi con Multimodal-RoPE. Sfruttando il disaccoppiamento dimensionale della codifica posizionale, PACE scompone l’attenzione in due stime ortogonali della salienza spaziale, una lungo l’asse dell’altezza e l’altra lungo quello della larghezza, regolate da un segnale di attenzione posizionale, ottenendo così una stima dell’importanza sensibile alla direzione con un sovraccarico trascurabile. Inoltre, formula l’allocazione del budget di token come un’ottimizzazione di Pareto che considera la conservazione delle prestazioni, l’efficienza dell’inferenza e la copertura spaziale, individuando congiuntamente le profondità di compressione e i rapporti di mantenimento ottimali. Gli esperimenti mostrano che PACE mantiene prestazioni quasi senza perdite conservando solo il 25%-50% dei token visivi, migliorando persino diversi benchmark e riducendo i FLOP di oltre 2 volte.