Investigación
WeMM-Video: Ampliar las fronteras de la comprensión omnimodal de video de código abierto
La comprensión de video, en particular cuando va acompañada de audio, sigue siendo un desafío central para la inteligencia multimodal. En este informe, presentamos \textbf{WeMM-Video}, una familia de…
- arXiv
- 2611.26409
- Publicado
- 2026-11-19
- Autores
- Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu
Resumen de los autores
La comprensión de video, en particular cuando va acompañada de audio, sigue siendo un desafío central para la inteligencia multimodal. En este informe, presentamos \textbf{WeMM-Video}, una familia de modelos fundacionales omnimodales bilingües en chino e inglés, con variantes de 2B, 4B, 9B y 35B-A3B. Centrada en la percepción y el razonamiento audiovisuales conjuntos, WeMM-Video unifica el procesamiento de texto, imagen, audio y video en un paradigma híbrido de pensamiento, y admite sin interrupciones tanto un modo de instrucciones sin razonamiento para respuestas rápidas y directas como un modo de razonamiento para el razonamiento explícito paso a paso. Los modelos se entrenan con un corpus multimodal a gran escala de aproximadamente 1,2 billones de tokens mediante preentrenamiento progresivo y un proceso de postentrenamiento en varias etapas que incorpora OPD con múltiples docentes, MrDPO contra la repetición y aprendizaje por refuerzo especializado. Evaluado en más de 120 benchmarks, WeMM-Video demuestra un rendimiento superior en comprensión y razonamiento omnimodales de video, y mantiene capacidades muy competitivas en tareas generales de audio, video sin audio, imagen y texto. En concreto, en las evaluaciones de video omnimodal, nuestro modelo insignia, WeMM-Video-35B-A3B, establece un nuevo estado del arte de código abierto y supera ampliamente a modelos propietarios como Qwen3.5-Omni-Flash y Seed2.0-Mini-0428, al tiempo que reduce la brecha con el potente Gemini-3.0-Flash; por su parte, nuestro modelo compacto WeMM-Video-9B supera al modelo de código abierto más grande Qwen3-Omni-30B-A3B-Instruct. Publicamos la familia WeMM-Video junto con nuestro proceso de evaluación y reproducción para fomentar nuevas investigaciones y desarrollos en la comunidad de código abierto.
El resumen de este paper solo está disponible en inglés: léelo en la página en inglés.
Leer el paper original en arXiv