APEX: denoising asincrono dei prefissi per una compressione estrema

Abstract degli autori

Un minor numero di token latenti promette di ridurre il costo della diffusione. Ma una compressione spinta dello spazio latente crea un dilemma tra ricostruzione e generazione: aggiungere canali migliora la ricostruzione, ma rende più difficile la generazione. Presentiamo APEX, sigla di Asynchronous Prefix denoising for EXtreme compression, che abbina uno spazio latente gerarchico a un denoising asincrono su gruppi di canali. Il nostro autoencoder ordina i prefissi dei canali dalla struttura ai dettagli, mentre un unico denoiser condiviso li genera in tempi locali sfalsati senza aggiungere token. Su ImageNet-512, APEX supera i metodi esistenti per ogni numero di canali valutato, con compressione 64x e 128x. A parità di costo computazionale per l’addestramento e il campionamento guidato, supera anche un modello da 256 token per ogni budget valutato, con vantaggi maggiori quando il costo computazionale è inferiore. Il codice è disponibile all’indirizzo https://daviddinkevich.github.io/APEX.