Persistence Forcing: sfruttare la specializzazione delle caratteristiche nella diffusione nello spazio dei pixel

Abstract degli autori

I Transformer di diffusione nello spazio dei pixel (DiTs) operano direttamente su dati visivi ad alta dimensionalità, ma le loro rappresentazioni nascoste vengono in genere raffinate in modo uniforme lungo la profondità. Le immagini naturali, tuttavia, sono intrinsecamente organizzate a diversi livelli di granularità. La struttura globale può spesso essere rappresentata in modo compatto, mentre le texture locali e i dettagli fini richiedono rappresentazioni più ricche. Per questo introduciamo nei DiTs che operano nello spazio dei pixel un raffinamento eterogeneo, assegnando a diversi gruppi di caratteristiche budget di raffinamento distinti lungo la profondità. Ne emerge una specializzazione ordinata delle caratteristiche: quelle raffinate meno frequentemente codificano prevalentemente la struttura visiva globale, mentre quelle raffinate più spesso si specializzano sempre più nei dettagli locali ad alta frequenza. Chiamiamo questi due gruppi, rispettivamente, caratteristiche persistenti e caratteristiche attive. Sulla base di questa specializzazione emergente, introduciamo Persistence Forcing (PerF), che sfrutta esplicitamente l’organizzazione delle caratteristiche persistenti e attive per generare immagini nello spazio dei pixel. Le caratteristiche persistenti possono così condizionare continuamente quelle sottoposte a raffinamento attivo, permettendo a informazioni globali stabili di guidare il progressivo raffinamento dei dettagli visivi più fini. Durante il campionamento generativo, questa interazione produce inoltre una direzione di guida significativa, che favorisce una struttura globale coerente e integra naturalmente la guida senza classificatore. Su ImageNet $256\times256$, PerF-L ottiene un FID di $1.91$, avvicinandosi al valore di $1.86$ di JiT-H con appena la metà dei parametri, mentre PerF-H ottiene FID di $1.63$ e $1.76$ rispettivamente su ImageNet $256\times256$ e $512\times512$.