BudgetPix: tokenizzazione adattiva alle risorse di calcolo per la diffusione di immagini nello spazio dei pixel

Abstract degli autori

La maggior parte dei modelli di generazione delle immagini usa una tokenizzazione uniforme, assegnando esattamente lo stesso budget di calcolo a patch di immagine di uguali dimensioni. Questo approccio statico non può adattarsi a diversi vincoli di risorse durante l’inferenza e porta a un compromesso non ottimale tra qualità e costo, perché dedica lo stesso sforzo sia agli sfondi uniformi sia ai dettagli complessi. Proponiamo BudgetPix, un sistema di tokenizzazione adattiva che distribuisce dinamicamente le risorse di calcolo in base alla complessità visiva e alla disposizione spaziale, consentendo di variare il budget di calcolo durante l’inferenza. BudgetPix comprende tre componenti principali: (1) un encoder adattivo che trasforma un’immagine di dimensioni fisse in una sequenza di token di lunghezza variabile, usando un quadtree guidato dall’entropia e un modulo di embedding delle patch a più scale; (2) un decoder che tiene conto della scala e ricostruisce immagini a risoluzione fissa a partire da insiemi di token a più scale; e (3) un programma flessibile di addestramento e campionamento che consente ai modelli di rimozione del rumore nello spazio dei pixel di operare con un numero variabile di token. BudgetPix si integra senza modifiche nelle architetture di diffusione nello spazio dei pixel esistenti, consentendo di usare un unico checkpoint con un’ampia gamma di budget di calcolo. Nella generazione di immagini a partire da testo, BudgetPix raggiunge la stessa fedeltà di MiniT2I-L a $512^2$ e di PixelDiT a $1024^2$ usando soltanto il 25% del budget di calcolo originale. Nella generazione condizionata dalla classe con un’architettura di base MeanFlow, a BudgetPix basta il 60% del budget di calcolo completo per produrre immagini con un degrado qualitativo prossimo allo zero: l’aumento del FID è di appena 0,8 punti. Valutazioni approfondite condotte da valutatori umani e VLM confermano che BudgetPix offre un compromesso tra qualità ed efficienza significativamente migliore rispetto ai precedenti metodi di riferimento adattivi al budget. Maggiori dettagli sono disponibili nella pagina del progetto: https://karaozgur.com/BudgetPix