Oltre la stima: decodifica basata su Wiener per facilitare l’addestramento dei modelli di flusso nello spazio dei pixel

Abstract degli autori

Apprendere i campi di velocità direttamente nello spazio dei pixel è difficile e lento. Mostriamo che statistiche approssimative di secondo ordine delle immagini possono facilitare questo compito: stime di Wiener congelate migliorano l’apprendimento della velocità, con benefici che vanno oltre le previsioni lineari che forniscono esplicitamente. Osserviamo inoltre benefici simili ma complementari dalle basi congelate e dalla decodifica dei pixel. Queste osservazioni motivano Wiener-informed Decoding (WiD), che usa le conoscenze statistiche sia per la previsione diretta sia per organizzare il calcolo del decoder senza modificare i blocchi nativi. WiD combina un percorso di previsione di Wiener addestrabile con interfacce per i coefficienti che immettono caratteristiche nel decoder nativo e ne restituiscono le correzioni dei coefficienti previste. Questi componenti sono inizializzati con statistiche dei dati. Tutti i parametri introdotti, compresi lo spettro e le trasformazioni delle coordinate, vengono addestrati congiuntamente secondo l’obiettivo originale di velocità nello spazio dei pixel. Su modelli di diverse dimensioni e decoder di diverse architetture, WiD accelera l’addestramento e migliora la qualità della generazione, con un modesto aumento del numero di parametri. Produce inoltre traiettorie del gradiente più regolari e rimane efficace con l’allineamento delle rappresentazioni. WiD migliora la generazione condizionata dalla classe e quella da testo a immagine a diverse risoluzioni. Su ImageNet 256 x 256, PixelDiT-XL con WiD raggiunge un FID di 1,53 dopo 500 epoche, ottenendo una qualità paragonabile a PixelDiT con il 37,5% di epoche di addestramento in meno. Il contributo dei metodi statistici di denoising va oltre la stima: anche la loro struttura computazionale può facilitare l’addestramento nello spazio dei pixel.