Video-Coder: rafforzare la programmazione agentica per la generazione di video

Abstract degli autori

Negli ultimi anni si sono registrati notevoli progressi nella generazione di video in termini di qualità visiva e coerenza temporale. Tuttavia, generare video con una struttura spaziale precisa, dinamiche di movimento coerenti e una composizione della scena controllabile rimane difficile. In questo articolo presentiamo Video-Coder, il primo tentativo di addestrare un agente per la generazione di video basato sul codice, che scrive ed esegue autonomamente codice per costruire una scena 3D dinamica (Draft Video), fornendo segnali relativi alla struttura e al movimento ai generatori di video a valle. Per supportare questo paradigma, progettiamo una pipeline di dati dedicata e selezioniamo due dataset di alta qualità, Video-Coder-SFT-6k e Video-Coder-RL-2k, che contengono prompt diversificati e video di riferimento con ground truth. Sviluppiamo inoltre Video-Coder Harness, un ambiente interattivo unificato che integra l’esecuzione del codice, il rendering di scene 3D e il feedback sull’esecuzione per l’addestramento e l’inferenza dell’agente. Addestriamo quindi Video-Coder con SFT, seguito da apprendimento per rinforzo agentico nativo dell’harness con feedback basato su due ricompense, che combina ricompense basate sull’esecuzione e ricompense basate sui video. Inoltre, progettiamo una strategia di addestramento con riduzione graduale della ricompensa basata sull’esecuzione nel tempo, consentendo al modello di affidarsi maggiormente alla ricompensa basata sui video nelle fasi successive dell’addestramento. Gli esperimenti mostrano che Video-Coder ottiene miglioramenti significativi, aumentando i risultati di Minimax-H3 di circa 7 punti su PhyGenBench e di 24 punti su VBench-2.0. Ci auguriamo che questo lavoro possa costituire una base aperta per gli agenti di programmazione nella generazione di video e rendiamo completamente open source i nostri dati, modelli e codice