DiffusionART: apprendimento per rinforzo efficiente, stabile e scalabile per i modelli di diffusione

Abstract degli autori

L’apprendimento per rinforzo (RL) online perfeziona i modelli di diffusione tramite fine-tuning con ricompense calcolate da una scatola nera. I metodi basati sul processo inverso, come Flow-GRPO, sono però poco efficienti a causa della difficoltà di attribuire il merito delle ricompense, mentre quelli basati sul processo diretto, come DiffusionNFT, sono efficienti ma instabili senza un addestramento off-policy con media mobile esponenziale (EMA) calibrata con cura. Mostriamo che gli obiettivi in stile NFT contengono una forza nascosta che spinge verso la coerenza tra processo diretto e inverso, annullata solo in parte dall’addestramento congiunto positivo-negativo, e che l’EMA stabilizza l’addestramento tramite il ripristino, non tramite traiettorie off-policy. Presentiamo DiffusionART (Diffusion Reinforcement with Aggregation-First Reward Tilting), che aggrega le ricompense di ciascun prompt in una direzione condivisa che aumenta la ricompensa per gli stati del processo inverso, eliminando per costruzione tale forza di coerenza. Aggiunge inoltre un secondo aggiornamento mascherato mediante una trust region, per un ripristino che si adatta alla deriva senza dover calibrare l’EMA. DiffusionART non richiede un modello di ricompensa differenziabile, resta efficace con meno campioni per prompt e supporta modelli di ricompensa a coppie (DiffusionART-Pairwise). Nella generazione di immagini e video, DiffusionART si addestra in modo efficiente e stabile senza calibrazione specifica per ciascun compito. In particolare, su HunyuanVideo-13B, con ricompense per la qualità visiva e del movimento ponderate in egual misura, DiffusionART raggiunge i livelli di ricompensa media delle fasi avanzate di DiffusionNFT e Flow-GRPO-Fast impiegando rispettivamente 12,02 e 11,72 volte meno ore GPU, e ottiene ricompense medie durante l’addestramento superiori rispettivamente del 28,8% e del 53,0%.