Ir para o conteúdo
AI.info

The Pulse

China Telecom detalha treinamento do Xing 4 em 8.192 chips Ascend

Pesquisadores da China Telecom descrevem o pré-treinamento de um modelo Xing 4 com 285 bilhões de parâmetros em 8.192 placas Ascend 910C. O relatório também detalha um modelo menor de pesos abertos, com 29 bilhões de parâmetros, e uma plataforma de treinamento de agentes chamada TeleGym.

China Telecom detalha treinamento do Xing 4 em 8.192 chips Ascend

Pesquisadores da China Telecom descreveram o pré-treinamento de um modelo de linguagem Xing 4 com 285 bilhões de parâmetros em 8.192 placas Ascend 910C. O relatório, um preprint submetido ao arXiv em 17 de novembro pelo Xingchen AGI Lab da empresa, também detalha um modelo menor de pesos abertos e um software para treinar modelos em tarefas de raciocínio e de agentes.

O Xing 4 dá continuidade à família de modelos TeleChat e usa uma arquitetura de mistura de especialistas, na qual apenas parte dos parâmetros do modelo é ativada para cada token. O modelo maior ativa aproximadamente 17 bilhões de parâmetros por token e aceita contextos de até 1 milhão de tokens, segundo o relatório.

Um modelo menor de pesos abertos

O laboratório também disponibilizou como código aberto o Xing4.0-29B-A4B, um modelo de mistura de especialistas com 29 bilhões de parâmetros no total. Ele ativa 4 bilhões de parâmetros por token e aceita uma janela de contexto nativa de 256.000 tokens.

O modelo menor foi treinado inteiramente em unidades de processamento neural Ascend usando o framework MindSpore. O cartão do modelo diz que o contexto pode ser ampliado para 512.000 tokens e lista um corpus de treinamento com 1,5 trilhão de tokens em chinês e inglês. Os pesos estão disponíveis sob a licença Apache 2.0.

Escolhas de arquitetura

O relatório examina como o tamanho do modelo, o design da atenção e o equilíbrio entre profundidade e largura afetam o uso de computação e memória. Também considera a decodificação especulativa, um método que usa um modelo preliminar para gerar a saída.

O modelo com 29 bilhões de parâmetros combina hiperconexões com restrição de variedade, atenção latente multi-head e predição de múltiplos tokens. Para a configuração maior, o relatório descreve a combinação de atenção latente multi-head, DeepSeek Sparse Attention e uma abordagem chamada IndexShare, que reutiliza índices de atenção entre camadas.

Os pesquisadores estudam, ao lado dessas escolhas de atenção, uma arquitetura de mistura de especialistas mais larga e mais rasa. Também descrevem o DSpark, uma abordagem de decodificação especulativa que combina um modelo preliminar em blocos com cabeças leves de correção.

Infraestrutura de treinamento

Para o pré-treinamento, a equipe usou o MindSpore HyperParallel, distribuindo o estado do modelo de uma maneira que leva em conta a hierarquia de largura de banda do cluster. O relatório também descreve a atribuição do trabalho do otimizador a processos designados, em vez de repetir os mesmos cálculos entre eles.

Sequências longas criam demandas adicionais de memória e podem deixar as cargas de trabalho distribuídas de forma desigual. O sistema aborda esses problemas com atribuição de cargas de trabalho baseada em custo, layouts reutilizáveis de tokens e recomputação seletiva. Os pesquisadores também descrevem o uso de afinidade de CPU e isolamento de núcleos para reduzir a interferência do escalonamento no host.

Pós-treinamento de agentes

Para o pós-treinamento, o relatório apresenta o TeleGym, uma plataforma de execução que conecta interações de agentes e resultados avaliados à otimização de políticas. Sua representação compartilhada de trajetórias registra a sequência de interações usada no treinamento.

A geração e a otimização são executadas de forma assíncrona em grupos separados de dispositivos. A plataforma usa sobreamostragem limitada para acomodar tarefas que terminam em velocidades diferentes, enquanto o rollout parcial permite que trajetórias inacabadas continuem após uma atualização de política.

O fluxo de trabalho abrange raciocínio matemático, geração de código e tarefas de agentes com múltiplas interações, dizem os pesquisadores. O laboratório afirma que o trabalho de treinamento na escala de trilhões de parâmetros está em andamento.

Fontes

  1. Fonte original · Preprint TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks arXiv:2611.22115

Outras páginas lidas

  1. XingChen-AGI on Hugging Face huggingface.co

Notícias relacionadas

Explore

Mais artigos