Aller au contenu
AI.info

Recherche

WeMM-Video : repousser les frontières de la compréhension vidéo omni-modale open source

La compréhension vidéo, en particulier lorsqu’elle s’accompagne d’audio, reste un défi majeur pour l’intelligence multimodale. Dans ce rapport, nous présentons \textbf{WeMM-Video}, une famille de…

arXiv
2611.26409
Publié
2026-11-19
Auteurs
Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu

Résumé des auteurs

La compréhension vidéo, en particulier lorsqu’elle s’accompagne d’audio, reste un défi majeur pour l’intelligence multimodale. Dans ce rapport, nous présentons \textbf{WeMM-Video}, une famille de modèles de fondation omni-modaux bilingues chinois-anglais, déclinée en variantes de 2B, 4B, 9B et 35B-A3B. Axé sur la perception et le raisonnement audiovisuels conjoints, WeMM-Video unifie le traitement du texte, des images, de l’audio et de la vidéo au sein d’un paradigme de raisonnement hybride, prenant en charge de manière fluide aussi bien un mode d’instruction sans raisonnement, pour des réponses rapides et directes, qu’un mode de raisonnement explicite, étape par étape. Les modèles sont entraînés sur un corpus multimodal à grande échelle d’environ 1,2 billion de tokens, au moyen d’un préentraînement progressif et d’un pipeline de post-entraînement en plusieurs étapes intégrant l’OPD à plusieurs enseignants, MrDPO anti-répétition et l’apprentissage par renforcement spécialisé. Évalué sur plus de 120 benchmarks, WeMM-Video affiche des performances supérieures en compréhension et en raisonnement vidéo omni-modaux, tout en conservant des capacités très compétitives pour les tâches générales portant sur l’audio, les vidéos sans son, les images et le texte. Plus précisément, lors des évaluations vidéo omni-modales, notre modèle phare, WeMM-Video-35B-A3B, établit un nouvel état de l’art open source et surpasse largement des modèles propriétaires comme Qwen3.5-Omni-Flash et Seed2.0-Mini-0428, tout en réduisant l’écart avec le très performant Gemini-3.0-Flash ; notre modèle compact WeMM-Video-9B dépasse quant à lui le modèle open source plus grand Qwen3-Omni-30B-A3B-Instruct. Nous rendons publique la famille WeMM-Video ainsi que notre pipeline d’évaluation et de reproduction, afin de favoriser la poursuite de la recherche et du développement dans la communauté open source.

Le résumé de cet article n’existe qu’en anglais : le lire sur la page en anglais.

Lire l’article original sur arXiv