Dinamiche dell’informazione sulle caratteristiche nella diffusione

Abstract degli autori

I modelli di diffusione generano dati attraverso un continuum di problemi di denoising e, come si osserva ampiamente, rivelano la struttura grossolana prima dei dettagli fini. Questa intuizione, però, resta perlopiù empirica e qualitativa. Introduciamo le dinamiche dell’informazione sulle caratteristiche, un quadro teorico basato sull’informazione per individuare quando una caratteristica viene generata durante la diffusione. Usando l’identità I-MMSE, colleghiamo il tasso di variazione dell’informazione mutua relativa a una caratteristica alla differenza tra le perdite ottimali di denoising incondizionato e condizionato da quella caratteristica, ottenendo stimatori pratici della densità di informazione delle caratteristiche. Sviluppiamo inoltre una scomposizione a catena che separa, in una gerarchia di caratteristiche, l’informazione condivisa da quella incrementale. Usiamo questo quadro dapprima per confermare quantitativamente l’autoregressione spettrale nella diffusione nello spazio dei pixel, poi per estendere l’analisi oltre la frequenza: lungo una catena di condizionamento classe $\to$ maschera $\to$ Canny, le densità di informazione delle singole caratteristiche differiscono tra pixel, SDVAE, VAVAE e RAE. Ciò mette in luce differenze fondamentali tra queste rappresentazioni e suggerisce che una generazione ordinata potrebbe essere utile per addestrare i modelli di diffusione. Il nostro codice è disponibile all’indirizzo https://github.com/AI4Science-WestlakeU/feature-information-dynamics.