Nessun canale lasciato indietro: comprendere l’accelerazione dei modelli di diffusione attraverso i gate residui

Abstract degli autori

I metodi per accelerare l’addestramento dei transformer di diffusione, come REPA e la regolarizzazione dispersiva, vengono comunemente spiegati richiamando una supervisione aggiuntiva, prior sulla struttura spaziale o una geometria delle feature migliore. Torniamo su questa interpretazione e portiamo alla luce un cambiamento interno notevole: il gate residuo $α$ di AdaLN-Zero, che controlla direttamente il modo in cui gli aggiornamenti condizionati entrano nel flusso residuo, viene riorganizzato in misura sostanziale da questi metodi. Questa osservazione ci porta a ipotizzare che l’accelerazione derivi, almeno in parte, dalla rimodulazione del percorso di gating residuo, e non soltanto dalle strutture delle feature imposte esplicitamente dagli obiettivi ausiliari. A sostegno di questa interpretazione, i modelli accelerati sono molto più sensibili alle perturbazioni di $α$ e la geometria dei loro gate riflette le relazioni semantiche tra le classi. Introduciamo inoltre il rapporto di partecipazione normalizzato (nPR) per caratterizzare l’organizzazione dei gate canale per canale e rileviamo che, tra i teacher di REPA, le architetture dei proiettori e i target degli obiettivi radiali, una partecipazione più ampia dei gate è associata a una migliore qualità di generazione. Sulla base di questa intuizione, proponiamo un semplice obiettivo radiale senza teacher che favorisce una partecipazione più ampia dei gate tramite la regolarizzazione della norma delle feature, senza confronti tra coppie di feature. Su ImageNet $256\times256$ con SiT-B/2, il nostro metodo migliora l’FID rispetto alla loss dispersiva, aumentando al contempo la partecipazione media dei gate nel corso dei timestep e tra le classi, a ulteriore sostegno del legame tra organizzazione dei gate e accelerazione dell’addestramento. I nostri risultati individuano nella riorganizzazione dei gate residui un asse misurabile dell’accelerazione dell’addestramento dei modelli di diffusione e indicano una semplice direzione per accelerarlo ulteriormente.