Apprendere rappresentazioni per guidare i transformer a diffusione di pixel

Abstract degli autori

Le rappresentazioni visive vengono sviluppate soprattutto per la comprensione, ma non è ancora chiaro che cosa le renda utili per la generazione. Studiamo questa questione nei transformer a diffusione di pixel e individuiamo due aspetti fondamentali. Primo, una rappresentazione di qualità migliore non si traduce necessariamente in una maggiore utilità per la generazione, perché la semantica allineata dall’esterno può andare progressivamente perduta durante la sintesi dei pixel. Secondo, la separazione architetturale con decoder di pixel specializzati redistribuisce principalmente la modellazione semantica e spaziale, senza produrre necessariamente rappresentazioni più adatte alla generazione. Questi risultati suggeriscono che una rappresentazione utile alla generazione debba essere sia costruita in modo adeguato sia sfruttata attivamente. Su questa base, introduciamo Representation Guidance (RG), che costruisce e sfrutta direttamente rappresentazioni interne mantenendo un’architettura Transformer essenziale. Un collo di bottiglia a bassa dimensionalità concentra le informazioni rilevanti per la generazione in una rappresentazione compatta, che viene poi usata esplicitamente per guidare la generazione del decoder modificando l’obiettivo del flow matching in base allo scostamento nella previsione da essa indotto. RG apprende una struttura semantica e spaziale più chiara e scala in modo efficiente sia in termini di parametri sia di calcolo. Su ImageNet 256x256, RG-L/16, con soli 459 milioni di parametri, supera transformer a diffusione di pixel molto più grandi, mentre RG-XL/16 ottiene un FID di 1,55. RG raggiunge inoltre un FID di 1,74 a 512x512 e si estende alla generazione di immagini da testo, ottenendo 0,89 su GenEval e 87,1 su DPG-Bench.