LiFT: transformer a flusso ciclico

Abstract degli autori

Presentiamo Loop Flow Transformers (LiFT), una famiglia di modelli generativi iterativi che aumenta il calcolo applicando ripetutamente un nucleo Diffusion Transformer (DiT) condiviso, con modifiche minime all’architettura standard. Invece di richiedere a ogni passaggio ricorrente la previsione finale, LiFT addestra ciascun passaggio usando un unico obiettivo di regressione: un punto su un percorso rettilineo dalla stima iniziale del modello all’obiettivo del flow matching. Poiché questi obiettivi sono indicizzati mediante una coordinata continua di profondità, un modello addestrato può eseguire iterazioni ben oltre la profondità usata nell’addestramento, senza ulteriore addestramento, uscite anticipate o altre modifiche. Nei nostri esperimenti, queste esecuzioni più lunghe migliorano la generazione: il calcolo in inferenza può quindi aumentare senza aggiungere parametri. Su ImageNet a 256x256, LiFT-L/2 ottiene un FID inferiore di 3,34 punti rispetto al nostro modello di riferimento DiT-XL/2 denso, usando circa il 60% di parametri in meno, il 32% di FLOPs in meno durante l’addestramento e il 52% di FLOPs in meno durante l’inferenza.