The Pulse
China Telecom détaille l’entraînement de Xing 4 sur 8 192 puces Ascend
Des chercheurs de China Telecom décrivent le préentraînement d’un modèle Xing 4 de 285 milliards de paramètres sur 8 192 cartes Ascend 910C. Leur rapport détaille également un modèle plus petit de 29 milliards de paramètres à poids ouverts et une plateforme d’entraînement d’agents appelée TeleGym.

Des chercheurs de China Telecom ont décrit le préentraînement d’un modèle de langage Xing 4 de 285 milliards de paramètres sur 8 192 cartes Ascend 910C. Le rapport, une prépublication soumise à arXiv le 17 novembre par le Xingchen AGI Lab de l’entreprise, détaille également un modèle plus petit à poids ouverts et des logiciels pour entraîner des modèles au raisonnement et aux tâches d’agent.
Xing 4 poursuit la famille de modèles TeleChat et utilise une architecture à mélange d’experts, dans laquelle seule une partie des paramètres du modèle est activée pour chaque token. Le modèle le plus grand active environ 17 milliards de paramètres par token et prend en charge des contextes allant jusqu’à 1 million de tokens, selon le rapport.
Un modèle plus petit à poids ouverts
Le laboratoire a également publié en open source Xing4.0-29B-A4B, un modèle à mélange d’experts comptant 29 milliards de paramètres au total. Il active 4 milliards de paramètres par token et prend en charge un contexte natif de 256 000 tokens.
Le modèle plus petit a été entièrement entraîné sur des unités de traitement neuronal Ascend avec le framework MindSpore. Sa fiche indique que le contexte peut être étendu à 512 000 tokens et mentionne un corpus d’entraînement de 1,5 billion de tokens bilingues en chinois et en anglais. Les poids sont disponibles sous licence Apache 2.0.
Choix d’architecture
Le rapport examine comment la taille du modèle, la conception de l’attention et l’équilibre entre profondeur et largeur influent sur les besoins en calcul et en mémoire. Il s’intéresse également au décodage spéculatif, une méthode qui utilise un modèle brouillon pour générer des sorties.
Le modèle de 29 milliards de paramètres combine des hyperconnexions à variété contrainte, une attention latente multi-têtes et une prédiction multi-token. Pour la configuration la plus grande, le rapport décrit la combinaison de l’attention latente multi-têtes, de DeepSeek Sparse Attention et d’une approche appelée IndexShare, qui réutilise les index d’attention entre les couches.
Les chercheurs étudient, en parallèle de ces choix d’attention, une architecture à mélange d’experts plus large et moins profonde. Ils décrivent également DSpark, une approche de décodage spéculatif qui associe un modèle brouillon par blocs à des têtes de correction légères.
Infrastructure d’entraînement
Pour le préentraînement, l’équipe s’est appuyée sur MindSpore HyperParallel, en répartissant l’état du modèle de manière à tenir compte de la hiérarchie de bande passante du cluster. Le rapport décrit également l’attribution des tâches de l’optimiseur à des processus désignés, plutôt que la répétition du même calcul sur chacun d’eux.
Les séquences longues sollicitent davantage la mémoire et peuvent entraîner une répartition inégale des charges de travail. Le système répond à ces problèmes par une attribution des charges fondée sur leur coût, des agencements réutilisables des tokens et un recalcul sélectif. Les chercheurs décrivent également le recours à l’affinité CPU et à l’isolation des cœurs pour réduire les interférences liées à la planification des processus sur l’hôte.
Post-entraînement des agents
Pour le post-entraînement, le rapport présente TeleGym, une plateforme d’exécution qui relie les interactions des agents et les résultats évalués à l’optimisation de la politique. Sa représentation commune des trajectoires consigne la séquence d’interactions utilisée pendant l’entraînement.
La génération et l’optimisation s’exécutent de manière asynchrone sur des groupes distincts de dispositifs. La plateforme recourt à un suréchantillonnage plafonné pour gérer les tâches qui se terminent à des vitesses différentes, tandis que le rollout partiel permet aux trajectoires inachevées de se poursuivre après une mise à jour de la politique.
Le processus couvre le raisonnement mathématique, la génération de code et les tâches d’agent à plusieurs tours, indiquent les chercheurs. Le laboratoire précise que les travaux sur l’entraînement à l’échelle de mille milliards de paramètres sont en cours.
Sources
- Source originale · Prépublication TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks arXiv:2611.22115
Autres pages lues
- XingChen-AGI on Hugging Face huggingface.co
Articles liés
- AWS publie les résultats du fine-tuning complet sans serveur de SageMaker
- Une enquête d’Adecco établit un lien entre la refonte du travail liée à l’IA et des gains de temps déclarés plus importants
- Google vise 2029 pour le lancement de satellites d’IA par Blue Origin
- Google affirme que des tests quantiques dépassent les limites des stratégies classiques
- La demande d’électricité des centres de données liée à des décès à distance, selon une étude du MIT