Token derivati da patch o token di registro? Un confronto tra tokenizzatori di immagini a lunghezza variabile

Abstract degli autori

I tokenizzatori di immagini convertono i pixel in sequenze latenti compatte per rendere efficiente la modellazione generativa. La maggior parte degli approcci dispone le rappresentazioni latenti su una griglia bidimensionale a risoluzione ridotta, legando la lunghezza della sequenza alla risoluzione dell’immagine. Confrontiamo due strategie a lunghezza variabile: i token derivati da patch, efficienti dal punto di vista computazionale e dotati di un’organizzazione spaziale esplicita, e i token di registro, più onerosi e privi di una disposizione spaziale predefinita. I risultati della ricostruzione mostrano che i token derivati da patch offrono prestazioni nettamente migliori con una compressione estrema, mentre i token di registro raggiungono una qualità di ricostruzione leggermente superiore con budget intermedi di token. Con budget elevati di token, i due approcci raggiungono una qualità di ricostruzione simile. Nelle successive attività generative, i token di registro superano quelli derivati da patch. Aggiungere l’allineamento delle rappresentazioni con codificatori visivi esterni preaddestrati migliora notevolmente le prestazioni generative dei token derivati da patch, consentendo loro di eguagliare o superare i token di registro a seconda del budget di token. Rileviamo inoltre che entrambi gli approcci apprendono rappresentazioni spazialmente localizzate. I token derivati da patch conservano in larga misura l’organizzazione spaziale loro imposta esplicitamente, mentre i token di registro sviluppano una struttura spaziale bidimensionale implicita pur non avendo una disposizione predefinita. L’allineamento delle rappresentazioni attenua questo vincolo di organizzazione spaziale, consentendo ai singoli token di esercitare un’influenza non locale più marcata.