Ricerca
WeMM-Video: spingere oltre i confini della comprensione video omni-modale open source
La comprensione dei video, soprattutto quando sono accompagnati dall’audio, resta una sfida centrale per l’intelligenza multimodale. In questo rapporto presentiamo \textbf{WeMM-Video}, una famiglia…
- arXiv
- 2611.26409
- Pubblicato
- 2026-11-19
- Autori
- Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu
Abstract degli autori
La comprensione dei video, soprattutto quando sono accompagnati dall’audio, resta una sfida centrale per l’intelligenza multimodale. In questo rapporto presentiamo \textbf{WeMM-Video}, una famiglia di modelli fondazionali omni-modali bilingui cinese-inglese, nelle varianti da 2B, 4B, 9B e 35B-A3B. Incentrato sulla percezione e sul ragionamento congiunti audio-visivi, WeMM-Video unifica l’elaborazione di testo, immagini, audio e video in un paradigma ibrido di ragionamento, supportando senza soluzione di continuità sia una modalità instruct senza ragionamento, per risposte rapide e dirette, sia una modalità di ragionamento esplicito passo dopo passo. I modelli sono addestrati su un corpus multimodale su larga scala di circa 1,2 trilioni di token, attraverso un pre-training progressivo e una pipeline di post-training in più fasi che integra OPD multi-teacher, MrDPO anti-ripetizione e RL specialistico. Valutato su oltre 120 benchmark, WeMM-Video dimostra prestazioni superiori nella comprensione e nel ragionamento su video omni-modali, mantenendo capacità altamente competitive nei compiti di audio generale, video senza audio, immagini e testo. In particolare, nelle valutazioni dei video omni-modali, il nostro modello di punta WeMM-Video-35B-A3B stabilisce un nuovo stato dell’arte open source, superando nettamente modelli proprietari come Qwen3.5-Omni-Flash e Seed2.0-Mini-0428 e riducendo il divario rispetto al potente Gemini-3.0-Flash; il nostro più compatto WeMM-Video-9B supera invece il più grande Qwen3-Omni-30B-A3B-Instruct open source. Rendiamo pubblica la famiglia WeMM-Video, insieme alla nostra pipeline di valutazione e riproduzione, per promuovere ulteriori attività di ricerca e sviluppo nella comunità open source.
Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.
Leggi il paper originale su arXiv