Ottimizzazione della policy di instradamento per l’apprendimento per rinforzo online nei modelli di diffusione

Abstract degli autori

L’apprendimento per rinforzo può allineare i generatori visivi a segnali di ricompensa che vanno oltre gli obiettivi del preaddestramento, ma i metodi esistenti basati sulla funzione di punteggio introducono in genere casualità perturbando la traiettoria inversa di denoising, con una costosa ottimizzazione basata sui rollout. Ci chiediamo invece se sia possibile introdurre l’esplorazione stocastica all’interno del generatore senza modificarne il campionatore originale. Routing Policy Optimization (RPO) risponde trasformando l’instradamento dell’attenzione in un’azione di esplorazione stocastica. A pochi livelli di denoising selezionati, ogni blocco di query mantiene il proprio blocco e campiona ulteriori blocchi di chiavi in proporzione alla massa di attenzione nativa del generatore, oppure mantiene l’attenzione densa. L’instradamento campionato perturba la velocità di quella transizione e una verosimiglianza gaussiana centrata sulla velocità densa valuta la perturbazione mediante un obiettivo basato sulla funzione di punteggio. RPO impiega inoltre uno stimatore controllato basato su due rollout: i due rollout condividono lo stesso prompt, la stessa variabile latente iniziale, gli stessi livelli di denoising con instradamento e gli stessi strati di ancoraggio con attenzione densa, e differiscono solo per gli instradamenti dell’attenzione campionati. La differenza tra le loro ricompense fornisce un segnale di vantaggio per le transizioni con instradamento. Poiché la verosimiglianza consente di calcolare i gradienti rispetto alla velocità densa stessa, gli aggiornamenti appresi restano efficaci anche dopo la rimozione dell’instradamento. In fase di inferenza, RPO ripristina l’attenzione densa e conserva il campionatore deterministico originale. Gli esperimenti sulla generazione di immagini e video a partire da testo mostrano che RPO migliora la qualità della generazione, raggiungendo un’efficienza di addestramento quasi 4 volte superiore a quella dei metodi in stile Flow-GRPO. Per i risultati visivi, consultate la pagina del progetto all’indirizzo https://velox-world.com/rpo