Distillazione ibrida efficiente: sinergia tra obiettivi basati sullo score e avversariali per la diffusione in un solo passaggio

Abstract degli autori

Sono stati sviluppati numerosi metodi di distillazione per accelerare i modelli di diffusione. Ricerche recenti indicano che le strategie ibride---che combinano paradigmi diversi---producono risultati superiori rispetto agli approcci basati su un solo metodo. Tuttavia, i lavori attuali si affidano prevalentemente a una semplice combinazione di obiettivi, lasciando in gran parte inesplorata la questione di come creare sinergie efficaci tra loro. In questo articolo analizziamo in particolare la sinergia tra la distillazione dello score e la distillazione avversariale. Mostriamo che i loro ambiti operativi sono distinti e complementari: la distillazione dello score è efficace nei regimi ad alto rumore per catturare la distribuzione globale, ma manca di supervisione dettagliata nelle regioni a basso rumore. La distillazione avversariale, invece, è efficace nelle regioni a basso rumore, ma è soggetta a instabilità e al fallimento del discriminatore quando viene applicata a intervalli ad alto rumore. Sulla base di questa intuizione, proponiamo Efficient Adversarial Score Distillation (EASD), un framework che crea sinergie tra questi obiettivi tramite una strategia di campionamento adattiva al regime, indirizzando ciascun obiettivo verso il proprio intervallo di efficacia. Applichiamo inoltre questo paradigma ai modelli Flow Matching basati su DiT. Nei test, il nostro metodo raggiunge un promettente FID di 1,39 in un solo passaggio su ImageNet 256$\times$256, utilizzando il modello SiT-XL/2+REPA. Questo lavoro fornisce indicazioni concrete per sfruttare al massimo il potenziale della distillazione ibrida. Il nostro codice e il modello sono disponibili all’indirizzo https://github.com/pf0607/EASD .