Rendere scalabili i Vision Transformer senza addestramento: compressione dei token tramite pruning e fusione

Abstract degli autori

I Vision Transformer offrono prestazioni elevate, ma le interazioni quadratiche tra i token comportano costi computazionali elevati. I metodi di riduzione dei token che non richiedono addestramento migliorano l’efficienza, ma la loro robustezza è ancora poco studiata. Proponiamo Prune-and Merge ViT, un framework che non richiede addestramento per modelli già disponibili. Combina un pruning basato sull’attenzione di classe con una fusione basata sulla similarità, per ridurre la ridondanza preservando le informazioni semantiche. Per valutare la robustezza introduciamo due metriche. Relative Accuracy Drop (RAD) misura il calo relativo dell’accuratezza in presenza di trasformazioni, mentre Prediction Flip Rate (PFR) quantifica la coerenza delle predizioni. Su ViT e DeiT preaddestrati, Prune-and-Merge riduce il costo computazionale in modo competitivo, mantenendo la robustezza e un’accuratezza superiore a quella dei metodi esistenti di riduzione dei token. La nostra analisi suggerisce che la riduzione ibrida dei token non introduce comportamenti simili alle allucinazioni e preserva la stabilità delle predizioni per le comuni trasformazioni delle immagini.