Ir para o conteúdo
AI.info

The Pulse

Tencent libera pesos do Hy4 com restrições para grandes provedores de serviços

A Tencent disponibilizou seu modelo Hy4, de 770 bilhões de parâmetros, com pesos abertos, além das versões FP8 e base. Empresas de grande porte que oferecem modelos como serviço estão sujeitas a requisitos de licenciamento específicos nos termos da Tencent.

Tencent libera pesos do Hy4 com restrições para grandes provedores de serviços

A Tencent lançou pesos para download do Hy4, um modelo de IA multimodal cuja base de linguagem tem 770 bilhões de parâmetros. O lançamento foi divulgado em 20 de novembro, informou o Sulat AI & Tech News, e o modelo principal, uma versão FP8 e um modelo base pré-treinado estão disponíveis no Hugging Face, no ModelScope e no GitCode.

O Hy4 usa uma arquitetura de mistura de especialistas, ativando 49 bilhões de parâmetros de linguagem por token. Ele aceita texto, imagens e vídeo, e sua janela de contexto comporta 1.048.576 tokens, segundo o cartão do modelo da Tencent.

Três conjuntos de pesos

O lançamento inclui o Hy4 ajustado por instruções, o Hy4-FP8 e o Hy4 base. O Sulat informa que a versão FP8 armazena o modelo em números de 8 bits, enquanto a versão base é o modelo pré-treinado antes do ajuste para conversa.

Os arquivos somam cerca de 1,55 TB para o Hy4, 0,79 TB para o Hy4-FP8 e 1,54 TB para o modelo base no Hugging Face, segundo o veículo. Um cartão do sistema com a avaliação de segurança do modelo foi divulgado junto com os pesos.

A base de linguagem tem 78 camadas: uma camada densa e 77 camadas de mistura de especialistas. Cada camada de mistura de especialistas contém 256 especialistas roteados e um especialista compartilhado; um token ativa oito especialistas roteados, além do compartilhado.

Um codificador visual separado tem 1,23 bilhão de parâmetros. O modelo também inclui um gerador de rascunhos DFly2 de 3,3 bilhões de parâmetros para decodificação especulativa, técnica em que um modelo menor propõe tokens para serem verificados pelo modelo maior.

Condições da licença

O Hy4 usa a licença Tencent Hy, em vez da licença Apache 2.0 usada para a versão de prévia do Hy4. O Sulat informa que a nova licença deriva da Apache 2.0 e acrescenta condições comerciais para grandes empresas que oferecem modelos como serviço.

Uma empresa que ofereça a terceiros acesso remoto à inferência ou ao fine-tuning precisa de uma licença escrita separada se sua receita bruta mundial superar US$ 50 milhões em qualquer período de 12 meses, segundo o Sulat. O veículo informa que também é necessária uma licença separada antes que uma empresa desse tipo use o modelo em um produto com mais de 100 milhões de usuários mensais.

O Sulat informa que o uso interno é isento, desde que nem o modelo, nem um derivado, nem suas saídas cheguem a terceiros. Versões ajustadas por fine-tuning, quantizadas, destiladas, mescladas e podadas são consideradas obras derivadas nos termos da licença, afirma o veículo.

Avaliação e limitações

O cartão do modelo da Tencent descreve usos como fluxos de trabalho em computação, desenvolvimento de jogos, atividades financeiras e pesquisa. Em sua avaliação com 213 profissionais de finanças e 579 tarefas financeiras, o Hy4 recebeu uma pontuação média de 3,04 em 4, ante 2,97 do DeepSeek-V4.1-Flash-1017 e 2,68 cada do Kimi K3.1 Pro e do GLM-5.3.

A empresa afirma que o Hy4 ainda fica atrás dos principais modelos proprietários em alguns testes internos difíceis, incluindo matemática em nível de pesquisa, programação em horizontes longos, autoaperfeiçoamento do modelo e capacidade avançada de responder a perguntas com base em informações visuais. A tabela de benchmarks do modelo base também traz um aviso: a exposição a dados sintéticos de instruções durante o treinamento intermediário pode, às vezes, fazer com que o modelo não siga o formato de resposta esperado em avaliações few-shot, distorcendo potencialmente as pontuações.

O lançamento oferece suporte à implantação com os frameworks de inferência vLLM e SGLang, informa o Sulat. O veículo diz que o repositório também inclui scripts de fine-tuning para DeepSpeed, LLaMA-Factory e ms-swift.

Fontes

  1. Fonte original Tencent · página 1 huggingface.co

Outras páginas lidas

  1. Tencent · página 2 huggingface.co
  2. Sulat AI & Tech News news.sulat.com

Notícias relacionadas

Explore

Mais artigos