Apprendere politiche gerarchiche di suddivisione in patch per accelerare i Vision Transformer

Abstract degli autori

I Vision Transformer (ViT) sono penalizzati dalla lunghezza della sequenza di token in ingresso. La suddivisione standard in patch fissa questa lunghezza applicando un’unica dimensione di patch a tutta l’immagine, indipendentemente dal contenuto delle singole aree. I lavori precedenti sulla dimensione adattiva delle patch riducono il numero di token assegnando patch più grandi alle aree visivamente semplici, ma si basano su euristiche rumorose a livello di pixel, come l’entropia locale, per decidere come suddividere l’immagine in patch. Sosteniamo che questa allocazione delle risorse di calcolo dovrebbe basarsi sull’interpretazione delle informazioni rilevanti per il compito da parte del modello, e non sulle statistiche grezze dei pixel. Introduciamo Split Policy Learned Image Tokenization, che apprende ad allocare la risoluzione dei token in base a ciò che il modello considera significativo, producendo sequenze di token più brevi e meglio adattate ai contenuti rilevanti per il compito. SPLIT raggiunge la stessa accuratezza dei modelli di riferimento ViT per la classificazione a piena risoluzione, usando il 30% di token in meno. Gli stessi vantaggi si riscontrano nella predizione densa: SPLIT raggiunge un’accuratezza competitiva su COCO e ADE20K, dimostrando che una suddivisione in patch allineata semanticamente si generalizza ben oltre la classificazione.