Leggere, allocare, instradare: tokenizzazione con ruoli accoppiati per transformer generativi nello spazio dei pixel

Abstract degli autori

I transformer generativi nello spazio dei pixel usano in genere un token per ogni patch dell’immagine, perciò acquisire dettagli più fini richiede più token e rende sempre più costosa l’attenzione globale. Osserviamo che i dettagli più fini non richiedono necessariamente più comunicazione globale: la struttura a bassa frequenza beneficia dello scambio globale, mentre i dettagli ad alta frequenza possono essere modellati localmente. Sulla base di questa intuizione, introduciamo SpecSlot, un transformer a flusso rettificato nello spazio dei pixel che disaccoppia il livello di dettaglio dell’output dalla lunghezza della sequenza di attenzione globale. SpecSlot espande ogni ancora spaziale in più slot, ciascuno assegnato a una banda disgiunta di coefficienti DCT; in questo modo separa la densità delle ancore dalla suddivisione spettrale. Solo lo slot a frequenza più bassa di ogni ancora partecipa all’attenzione globale, mentre tutti gli slot interagiscono localmente. Ciò consente al modello di aumentare il dettaglio spettrale senza allungare la sequenza globale. Una testa spaziale aggiunge inoltre una correzione locale alla previsione spettrale, mentre lo stato generativo, il target e la loss restano nello spazio dei pixel. Su ImageNet-256, SpecSlot raggiunge un FID finale paragonabile a quello di un modello di controllo JiT con FLOPs equivalenti, ma converge più rapidamente. Su ImageNet-512, migliora il FID di 2,84 rispetto al modello di controllo con il 3,9% di FLOPs in meno e si avvicina a JiT-B/16, con uno scarto di appena 0,69 FID e un costo inferiore del 38,2%. Nella generazione da testo a immagine, SpecSlot supera JiT-B/8 su DPG-Bench di 1,06, con un costo della passata forward inferiore del 40,6%.