Ir al contenido
AI.info

The Pulse

China Telecom detalla el entrenamiento de Xing 4 con 8.192 chips Ascend

Investigadores de China Telecom describen el preentrenamiento de un modelo Xing 4 de 285 mil millones de parámetros en 8.192 tarjetas Ascend 910C. Su informe también detalla un modelo de pesos abiertos de 29 mil millones de parámetros y una plataforma de entrenamiento de agentes llamada TeleGym.

China Telecom detalla el entrenamiento de Xing 4 con 8.192 chips Ascend

Investigadores de China Telecom han descrito el preentrenamiento de un modelo lingüístico Xing 4 de 285 mil millones de parámetros en 8.192 tarjetas Ascend 910C. El informe, un preprint enviado a arXiv el 17 de noviembre por el Xingchen AGI Lab de la empresa, también detalla un modelo más pequeño de pesos abiertos y software para entrenar modelos en tareas de razonamiento y de agentes.

Xing 4 continúa la familia de modelos TeleChat y utiliza una arquitectura de mezcla de expertos, en la que solo se activa una parte de los parámetros del modelo para cada token. El modelo más grande activa aproximadamente 17 mil millones de parámetros por token y admite contextos de hasta 1 millón de tokens, según el informe.

Un modelo abierto más pequeño

El laboratorio también ha publicado como código abierto Xing4.0-29B-A4B, un modelo de mezcla de expertos con 29 mil millones de parámetros en total. Activa 4 mil millones de parámetros por token y admite un contexto nativo de 256.000 tokens.

El modelo más pequeño se entrenó íntegramente con unidades de procesamiento neuronal Ascend mediante el framework MindSpore. La ficha del modelo indica que el contexto puede ampliarse a 512.000 tokens y menciona un corpus de entrenamiento de 1,5 billones de tokens bilingües en chino e inglés. Los pesos están disponibles con la licencia Apache 2.0.

Decisiones de arquitectura

El informe examina cómo afectan el tamaño del modelo, el diseño de la atención y el equilibrio entre profundidad y anchura al uso de computación y memoria. También analiza la decodificación especulativa, un método que utiliza un modelo borrador para generar resultados.

El modelo de 29 mil millones de parámetros combina hiperconexiones restringidas a variedades con atención latente multi-cabeza y predicción de múltiples tokens. Para la configuración más grande, el informe describe la combinación de atención latente multi-cabeza, DeepSeek Sparse Attention y un método llamado IndexShare, que reutiliza índices de atención entre capas.

Junto con estas opciones de atención, los investigadores estudian una arquitectura de mezcla de expertos más ancha y menos profunda. También describen DSpark, un método de decodificación especulativa que combina un modelo borrador por bloques con cabezales de corrección ligeros.

Infraestructura de entrenamiento

Para el preentrenamiento, el equipo se basó en MindSpore HyperParallel, distribuyendo el estado del modelo de forma que se tuviera en cuenta la jerarquía de ancho de banda del clúster. El informe también describe la asignación del trabajo del optimizador a procesos designados, en lugar de repetir el mismo cálculo en todos ellos.

Las secuencias largas generan necesidades adicionales de memoria y pueden dejar las cargas de trabajo distribuidas de manera desigual. El sistema aborda estos problemas con la asignación de cargas de trabajo basada en el coste, disposiciones reutilizables de tokens y recomputación selectiva. Los investigadores también describen el uso de afinidad de CPU y aislamiento de núcleos para reducir las interferencias de la planificación del host.

Posentrenamiento de agentes

Para el posentrenamiento, el informe presenta TeleGym, una plataforma de ejecución que vincula las interacciones de los agentes y los resultados evaluados con la optimización de políticas. Su representación compartida de trayectorias registra la secuencia de interacciones utilizada en el entrenamiento.

La generación y la optimización se ejecutan de forma asíncrona en grupos de dispositivos separados. La plataforma utiliza sobremuestreo acotado para adaptarse a tareas que terminan a distintas velocidades, mientras que el rollout parcial permite que las trayectorias sin terminar continúen después de una actualización de la política.

El flujo de trabajo abarca el razonamiento matemático, la generación de código y las tareas de agentes con varios turnos, según los investigadores. El laboratorio afirma que sigue trabajando en el entrenamiento a escala del billón de parámetros.

Fuentes

  1. Fuente original · Preprint TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks arXiv:2611.22115

Otras páginas leídas

  1. XingChen-AGI on Hugging Face huggingface.co

Noticias relacionadas

Explora

Más artículos