Ir para o conteúdo
AI.info

Pesquisa

WeMM-Video: Avançando as fronteiras da compreensão omnimodal de vídeo de código aberto

A compreensão de vídeo, especialmente quando acompanhada de áudio, continua sendo um desafio central da inteligência multimodal. Neste relatório, apresentamos o \textbf{WeMM-Video}, uma família de…

arXiv
2611.26409
Publicado
2026-11-19
Autores
Changli Tang, Jie Yang, Tianyi Wang, Lei Li, Daoze Zhang, Zijie Xin, Zhan Liu, Li Li, Jinchang Xu, Fengyun Rao, Chao Zhang, Jing Lyu

Resumo dos autores

A compreensão de vídeo, especialmente quando acompanhada de áudio, continua sendo um desafio central da inteligência multimodal. Neste relatório, apresentamos o \textbf{WeMM-Video}, uma família de modelos fundacionais omnimodais bilíngues em chinês e inglês, com variantes de 2B, 4B, 9B e 35B-A3B. Com foco na percepção e no raciocínio conjuntos de áudio e vídeo, o WeMM-Video unifica o processamento de texto, imagem, áudio e vídeo em um paradigma de pensamento híbrido, oferecendo suporte contínuo tanto a um modo de instrução sem raciocínio, para respostas rápidas e diretas, quanto a um modo de raciocínio explícito, passo a passo. Os modelos são treinados com um corpus multimodal em larga escala de aproximadamente 1,2 trilhão de tokens, por meio de pré-treinamento progressivo e de um pipeline de pós-treinamento em várias etapas que incorpora OPD com múltiplos professores, MrDPO antirrepetição e RL especializado. Avaliado em mais de 120 benchmarks, o WeMM-Video demonstra desempenho superior em compreensão e raciocínio omnimodais de vídeo, mantendo capacidades altamente competitivas em tarefas gerais de áudio, vídeo sem áudio, imagem e texto. Especificamente, nas avaliações omnimodais de vídeo, o carro-chefe WeMM-Video-35B-A3B estabelece um novo estado da arte de código aberto, superando substancialmente modelos proprietários como Qwen3.5-Omni-Flash e Seed2.0-Mini-0428, ao mesmo tempo que reduz a distância em relação ao potente Gemini-3.0-Flash; já o compacto WeMM-Video-9B supera o modelo maior de código aberto Qwen3-Omni-30B-A3B-Instruct. Disponibilizamos publicamente a família WeMM-Video, junto com nosso pipeline de avaliação e reprodução, para fomentar novas pesquisas e desenvolvimentos na comunidade de código aberto.

O resumo deste paper está disponível apenas em inglês: leia na página em inglês.

Ler o paper original no arXiv