Instradamento adattivo delle ricompense: ottimizzazione dinamica con ricompense multiple per la diffusione audio-video congiunta tramite apprendimento per rinforzo sul processo diretto

Abstract degli autori

L’apprendimento per rinforzo guidato da più ricompense (RL) offre una strada promettente per migliorare i modelli di diffusione audio-video congiunta rispetto a diversi obiettivi complementari, tra cui la qualità specifica di ciascuna modalità, l’allineamento semantico intermodale e la sincronizzazione temporale. La sua efficacia, tuttavia, dipende da due fattori che cambiano durante l’addestramento: dove devono agire gli aggiornamenti guidati dalle ricompense e come combinare ricompense tra loro concorrenti. I metodi esistenti tendono ad affidarsi a un instradamento e a pesi delle ricompense fissi, senza tenere il passo con l’evoluzione delle funzioni del modello. Per superare questi limiti, proponiamo Adaptive Reward Routing, che adatta congiuntamente la posizione degli aggiornamenti e il coordinamento delle ricompense durante l’RL sul processo diretto (DiffusionNFT) dei modelli di diffusione audio-video congiunta. Il metodo comprende due componenti. (i) Instradamento guidato dall’influenza intermodale (localizzazione degli aggiornamenti): usiamo le risposte della cross-attention bidirezionale come indicatore efficiente dell’evoluzione dell’influenza intermodale, ricalibrando dinamicamente le funzioni di perdita sensibili ai token e la scala dei gradienti nei livelli intermodali, senza ulteriori interventi sul modello. (ii) Ricalibratura dei pesi consapevole delle modalità e rispettosa delle preferenze (coordinamento delle ricompense): manteniamo i pesi predefiniti come prior delle preferenze e, dopo una fase iniziale di addestramento, usiamo le interazioni tra i gradienti delle ricompense specifiche di ciascun ramo come correzioni residue. Questo risolve i conflitti che emergono nel tempo senza lasciare che le ricompense dominanti mettano in secondo piano obiettivi deboli ma essenziali. Numerosi esperimenti mostrano miglioramenti costanti nella qualità delle modalità, nella coerenza semantica e nella sincronizzazione audio-video rispetto a solidi metodi di riferimento basati sull’RL. Studi di ablazione e analisi dei meccanismi confermano inoltre i benefici complementari dell’instradamento adattivo degli aggiornamenti e del coordinamento delle ricompense.