Quali token unire? Le dinamiche di diffusione per generare immagini in modo efficiente

Abstract degli autori

L’unione dei token si è affermata come una strategia efficace per accelerare i modelli di diffusione senza addestramento, riducendo i calcoli ridondanti sui token e limitando il peggioramento delle immagini generate. Una sfida fondamentale è stabilire quali token possano essere uniti senza rischi e quali debbano essere conservati per i calcoli successivi. Un metodo esistente affronta il problema preservando le regioni in primo piano corrispondenti al prompt, proteggendo così le strutture semanticamente rilevanti. Tuttavia, questo criterio basato sulla pertinenza rispetto al testo trascura gli oggetti sullo sfondo e i dettagli locali non menzionati esplicitamente nel prompt, compromettendo la coerenza strutturale. In questo lavoro proponiamo Dynamics-aware Token Merging (DaTMe), un framework che non richiede addestramento e fonda l’unione dei token sulle dinamiche di diffusione sottostanti. L’intuizione centrale è che l’importanza di un token dovrebbe dipendere dal fatto che rimanga irrisolto durante la rimozione del rumore e che contenga informazioni strutturali. A questo scopo, DaTMe costruisce una mappa dell’importanza basata sulle dinamiche a partire dalla stima di Tweedie dell’immagine ripulita dal rumore. La mappa combina un segnale temporale, che misura le variazioni tra passaggi successivi nell’immagine pulita prevista, con un segnale strutturale, che rileva il contenuto locale ad alta frequenza, come contorni e dettagli fini. Usando questa mappa, DaTMe assegna ai token ruoli diversi nell’unione, adattandosi a un dato rapporto di compressione: i token importanti vengono conservati come punti di ancoraggio, mentre quelli che sono sia stabilizzati nel tempo sia strutturalmente omogenei vengono selezionati come candidati che possono essere uniti senza rischi. Gli esperimenti su PixArt-a e FLUX mostrano che DaTMe mantiene la fedeltà visiva dell’intera immagine, evidenziando l’efficacia delle dinamiche di diffusione come criterio per decidere l’unione a livello di token nella generazione efficiente. Il nostro codice è disponibile all’indirizzo https://github.com/SeungJuCha/DaTMe.