EmoReward: calibrazione autoevolutiva della ricompensa per l’addestramento RL alla generazione di video emotivi

Abstract degli autori

La Group Relative Policy Optimization (GRPO) ha fatto progredire il post-addestramento dei modelli generativi in domini verificabili come la programmazione e la matematica, ma la valutazione della qualità dei video, in particolare dell’espressione emotiva, dipende spesso da criteri estetici soggettivi e non ha un unico obiettivo corretto. Gli approcci esistenti si basano in genere su ricompense fisse per la qualità visiva, la qualità del movimento e l’allineamento al testo, che colgono poco l’intento emotivo e possono favorire il reward hacking; inoltre, l’RLHF è difficile da scalare ed è soggetto a differenze estetiche individuali, che complicano la calibrazione dei segnali del volto, dei movimenti del corpo e dei colori nei diversi contesti narrativi. Presentiamo EmoReward, un nuovo meccanismo di addestramento autoevolutivo che distilla l’affidabilità delle evidenze dalle tracce delle ricompense raccolte durante una sessione di addestramento effettiva, per guidare in modo adattivo l’allocazione dei pesi tra le diverse ricompense nelle sessioni successive, determinando quali evidenze emotive considerare attendibili e quanto peso attribuire loro. EmoReward pianifica anzitutto indizi specifici di ancoraggio a partire dal prompt emotivo per guidare la valutazione, quindi usa primitive di segnale eterogenee per assegnare un punteggio al video generato nella fase di esecuzione. Il Reflective Reward Gating calibra il contributo di ciascuna attraverso gate a livello di singolo esempio relativi a fase, affidabilità del volto, conflitto e sottigliezza, quindi rinormalizza i pesi sull’insieme attivo per calcolare la ricompensa combinata del campione. RewardMemory stima poi l’affidabilità di ciascuna primitiva sulla base dei punteggi e degli esiti dei rollout in ciascun regime emotivo della sessione di addestramento completata, quindi fissa moltiplicatori limitati che calibrano i pesi di fusione nella sessione successiva, senza aggiornare i modelli di ricompensa. Gli esperimenti su HunyuanVideo 1.5 mostrano miglioramenti con diversi algoritmi RL e confrontano EmoReward con altri metodi agentici di ricompensa nell’ambito di SAGE-GRPO. Gli studi di ablazione e gli esperimenti di trasferimento su SD 3.5 e FLUX forniscono ulteriori prove a sostegno della calibrazione adattiva delle ricompense per la generazione visiva.