SpecKCast: previsione spettrale di Kalman per accelerare la diffusione

Abstract degli autori

I transformer a diffusione (DiTs) generano immagini e video ad alta fedeltà, ma comportano costi di inferenza elevati perché il transformer viene valutato ripetutamente nei numerosi passi di riduzione del rumore. La memorizzazione delle feature nella cache riduce questo costo riutilizzandole tra un passo e l’altro. I metodi di previsione più recenti estendono questa idea estrapolando le feature per i passi saltati, anziché riutilizzarle. I metodi esistenti, tuttavia, estrapolano in modo uniforme le feature che prevedono, anche se le componenti di frequenza spaziale di tali feature subiscono le variazioni maggiori in fasi diverse della riduzione del rumore. Trascurano inoltre il fatto che la riduzione del rumore procede in modo non uniforme: intervalli uguali tra i passi possono quindi corrispondere a variazioni di entità molto diversa. Queste discrepanze amplificano gli errori di previsione all’aumentare dei passi saltati, limitando l’accelerazione ottenibile. Proponiamo SpecKCast, un metodo che non richiede addestramento e prevede l’output del modello nel dominio delle frequenze. SpecKCast applica all’output una trasformata discreta del coseno (DCT) bidimensionale e segue l’evoluzione di ciascun coefficiente con un filtro di Kalman leggero, lungo una coordinata temporale specifica per ciascuna banda e ricavata dalla sequenza dei livelli di rumore. Il filtro tiene traccia del valore e della velocità di variazione di ogni coefficiente; il transformer viene valutato solo quando l’incertezza della previsione del filtro supera una soglia. Gli esperimenti su FLUX.1-dev, Qwen-Image, Wan2.1-14B e HunyuanVideo mostrano che SpecKCast offre un compromesso migliore tra accelerazione e fedeltà rispetto ai metodi esistenti di memorizzazione nella cache e di previsione, raggiungendo un’accelerazione fino a 6x con meno di 0,05 GiB di memoria aggiuntiva.