SWIFT: modelli di diffusione autoguidati da debole a forte mediante estrapolazione del target

Abstract degli autori

Addestrare modelli di diffusione di alta qualità richiede molte risorse computazionali e la guida durante l’inferenza spesso aumenta ulteriormente il costo del campionamento. In questo lavoro presentiamo Swift, un metodo di addestramento autoguidato semplice ma efficace che usa un denoiser debole con parametri fissi per migliorare un modello più forte senza aggiungere costi di inferenza. Per ogni input rumoroso, Swift estrapola il target di regressione non rumoroso allontanandolo dalla previsione del denoiser debole, amplificando le componenti che il modello non ha ancora appreso a sufficienza. La guida debole può essere un checkpoint delle prime fasi dell’addestramento, non richiede backpropagation durante l’addestramento del modello principale e viene poi scartata. Il modello risultante conserva il campionatore originale e supporta sia la generazione condizionata sia quella incondizionata, senza dropout delle etichette né un ramo incondizionato. Spieghiamo questo meccanismo attraverso un’analisi spettrale del flusso di gradiente della popolazione a tempo finito in una RKHS. Con una guida debole il cui addestramento è stato interrotto anticipatamente, dimostriamo che esiste un intervallo non vuoto di intensità di estrapolazione che produce un errore rispetto alla media a posteriori strettamente inferiore a quello dell’addestramento standard a parità di condizioni, nonostante il target di regressione venga spostato lontano dalla media a posteriori. Esperimenti su CIFAR-10 e ImageNet-256 mostrano miglioramenti con modelli di diverse dimensioni e rappresentazioni diverse. In una configurazione di ImageNet-256, Swift supera il miglior FID della baseline usando circa la metà delle risorse computazionali totali per l’addestramento, inclusi la preparazione della guida e i costi aggiuntivi dell’addestramento. Su RAEv2 ottiene un FID di 1,15 senza guida durante l’inferenza e di 0,99 con la guida. Questi risultati mostrano che l’estrapolazione del target è un approccio efficace per addestrare modelli di diffusione da debole a forte, con un’inferenza efficiente basata su un unico modello.