Ricerca
Vidu S2: generazione di video interattiva, modificabile e spaziale in tempo reale
Presentiamo Vidu S2, che comprende Vidu S2-Avatar, un modello per personaggi digitali interattivi in tempo reale, e Vidu S2-Editing, un modello per il montaggio video in tempo reale. Esploriamo inoltr
- arXiv
- 2609.11638
- Pubblicato
- 2026-09-10
- Autori
- Jintao Zhang, Kai Jiang, Jintao Chen, Xu Wang, Deyuan Liu, Jungang Li, Dechuang Chen, Ming Lin, Jingjiang Zhou, Haopeng Jin, Qi Jia, Xiaohang Wang, Yaole Wang, Zhanqiang Zhang, Ran Li, Zhengkun Huang, Shuyue Xiong, Yuji Wang, Zikun Dai, Hui He, Yang Luo, Mang Ning, Weiqi Feng, Chengyang Ye, Xinyue Lin, Min Zhao, Hongzhou Zhu, Hengkai Tan, Zeyuan Wang, Chendong Xiang, Kaiwen Zheng, Zhijie Deng, Fan Bao, Jianfei Chen, Jun Zhu
Abstract degli autori
Presentiamo Vidu S2, che comprende Vidu S2-Avatar, un modello per personaggi digitali interattivi in tempo reale, e Vidu S2-Editing, un modello per il montaggio video in tempo reale. Esploriamo inoltre la fattibilità della generazione di video spaziali in tempo reale sia per Vidu S2-Avatar sia per Vidu S2-Editing. Rispetto a Vidu S1, Vidu S2-Avatar supporta la generazione di video a 720p in tempo reale, la generazione con riferimenti dinamici aggiornabili in qualsiasi momento e una maggiore capacità di seguire istruzioni, per esempio quelle di ballare. Vidu S2-Editing consente di modificare un flusso video in tempo reale, anche applicando uno stile o sostituendo abiti, personaggi e sfondo. Gli esperimenti mostrano che Vidu S2 supera tutti i modelli di riferimento. Una demo online da provare è disponibile su https://vidu.com/vidu-stream.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv