Zum Inhalt springen
AI.info

Forschung

WeMM-Video: Die Grenzen des Open-Source-Verständnisses omnimodaler Videos erweitern

Das Verständnis von Videos, insbesondere in Verbindung mit Audio, bleibt eine zentrale Herausforderung für multimodale Intelligenz. In diesem Bericht stellen wir \textbf{WeMM-Video} vor, eine Familie…

arXiv
2611.26409
Veröffentlicht
2026-11-19
Autoren
Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu

Abstract der Autoren

Das Verständnis von Videos, insbesondere in Verbindung mit Audio, bleibt eine zentrale Herausforderung für multimodale Intelligenz. In diesem Bericht stellen wir \textbf{WeMM-Video} vor, eine Familie zweisprachiger chinesisch-englischer omnimodaler Foundation-Modelle mit Varianten mit 2B, 4B, 9B und 35B-A3B. WeMM-Video konzentriert sich auf gemeinsame audio-visuelle Wahrnehmung und Schlussfolgerungen und vereint die Verarbeitung von Text, Bildern, Audio und Video in einem hybriden Denkparadigma. Dabei unterstützt es nahtlos sowohl einen Instruct-Modus ohne explizites Denken für schnelle, direkte Antworten als auch einen Thinking-Modus für explizite, schrittweise Schlussfolgerungen. Die Modelle werden anhand eines umfangreichen multimodalen Korpus mit etwa 1,2 Billionen Tokens trainiert. Dafür kommen ein progressives Pre-Training und eine mehrstufige Post-Training-Pipeline zum Einsatz, die Multi-Teacher-OPD, Anti-Repetition-MrDPO und spezialisiertes RL umfasst. In Tests mit mehr als 120 Benchmarks erzielt WeMM-Video überlegene Leistungen beim omnimodalen Videoverständnis und Schlussfolgern und bewahrt zugleich sehr wettbewerbsfähige Fähigkeiten bei allgemeinen Audio-, stummen Video-, Bild- und Textaufgaben. Insbesondere setzt unser Spitzenmodell WeMM-Video-35B-A3B bei der Bewertung des omnimodalen Videoverständnisses einen neuen Open-Source-Stand der Technik. Es übertrifft proprietäre Modelle wie Qwen3.5-Omni-Flash und Seed2.0-Mini-0428 deutlich und verringert zugleich den Abstand zum leistungsstarken Gemini-3.0-Flash. Unser kompaktes Modell WeMM-Video-9B übertrifft das größere Open-Source-Modell Qwen3-Omni-30B-A3B-Instruct. Wir veröffentlichen die WeMM-Video-Familie zusammen mit unserer Evaluierungs- und Reproduktionspipeline, um weitere Forschung und Entwicklung in der Open-Source-Community zu fördern.

Die Zusammenfassung dieses Papers gibt es nur auf Englisch: auf der englischen Seite lesen.

Das Originalpaper auf arXiv lesen