Zum Inhalt springen
AI.info

The Pulse

China Telecom gibt Einzelheiten zum Training von Xing 4 mit 8.192 Ascend-Chips bekannt

Forschende von China Telecom beschreiben das Pretraining eines Xing-4-Modells mit 285 Milliarden Parametern auf 8.192 Ascend-910C-Karten. Ihr Bericht geht außerdem auf ein kleineres Modell mit offenen Gewichten und 29 Milliarden Parametern sowie auf eine Agenten-Trainingsplattform namens TeleGym ein.

China Telecom gibt Einzelheiten zum Training von Xing 4 mit 8.192 Ascend-Chips bekannt

Forschende von China Telecom haben das Pretraining eines Xing-4-Sprachmodells mit 285 Milliarden Parametern auf 8.192 Ascend-910C-Karten beschrieben. Der Bericht, ein am 17. November vom Xingchen AGI Lab des Unternehmens bei arXiv eingereichtes Preprint, geht außerdem auf ein kleineres Modell mit offenen Gewichten und Software für das Training von Modellen für Reasoning- und Agentenaufgaben ein.

Xing 4 setzt die TeleChat-Modellfamilie fort und nutzt eine Mixture-of-Experts-Architektur, bei der für jedes Token nur ein Teil der Modellparameter aktiviert wird. Das größere Modell aktiviert laut Bericht etwa 17 Milliarden Parameter pro Token und unterstützt Kontextlängen von bis zu 1 Million Tokens.

Ein kleineres offenes Modell

Das Labor hat Xing4.0-29B-A4B außerdem als Open Source veröffentlicht. Das Mixture-of-Experts-Modell verfügt über insgesamt 29 Milliarden Parameter. Pro Token aktiviert es 4 Milliarden Parameter und unterstützt nativ einen Kontext von 256.000 Tokens.

Das kleinere Modell wurde ausschließlich auf Ascend-Neuralprozessoren mit dem MindSpore-Framework trainiert. Laut Model Card lässt sich der Kontext auf 512.000 Tokens erweitern. Als Trainingskorpus werden 1,5 Billionen zweisprachige chinesische und englische Tokens angegeben. Die Gewichte sind unter der Apache-2.0-Lizenz verfügbar.

Architekturentscheidungen

Der Bericht untersucht, wie sich Modellgröße, Attention-Design und das Verhältnis von Tiefe zu Breite auf Rechenaufwand und Speicherverbrauch auswirken. Er befasst sich auch mit spekulativem Decoding, einer Methode, bei der ein Entwurfsmodell zur Erzeugung von Ausgaben eingesetzt wird.

Das Modell mit 29 Milliarden Parametern kombiniert mannigfaltigkeitsbeschränkte Hyperverbindungen mit Multi-Head-Latent-Attention und Multi-Token-Vorhersage. Für die größere Konfiguration beschreibt der Bericht eine Kombination aus Multi-Head-Latent-Attention, DeepSeek Sparse Attention und einem Ansatz namens IndexShare, bei dem Attention-Indizes über mehrere Schichten hinweg wiederverwendet werden.

Die Forschenden untersuchen neben diesen Attention-Varianten auch eine breitere und flachere Mixture-of-Experts-Architektur. Außerdem beschreiben sie DSpark, einen Ansatz für spekulatives Decoding, der ein blockweise arbeitendes Entwurfsmodell mit leichtgewichtigen Korrekturköpfen kombiniert.

Trainingsinfrastruktur

Für das Pretraining baute das Team auf MindSpore HyperParallel auf und verteilte den Modellzustand so, dass die Bandbreitenhierarchie des Clusters berücksichtigt wird. Der Bericht beschreibt außerdem, Optimierungsaufgaben bestimmten Prozessen zuzuweisen, statt dieselbe Berechnung auf ihnen zu wiederholen.

Lange Sequenzen stellen zusätzliche Anforderungen an den Speicher und können zu einer ungleichmäßigen Verteilung der Workloads führen. Das System begegnet diesen Problemen mit einer kostenbasierten Workload-Zuweisung, wiederverwendbaren Token-Anordnungen und selektiver Neuberechnung. Die Forschenden beschreiben außerdem den Einsatz von CPU-Affinität und Kernisolierung, um Störungen durch die Host-Prozessplanung zu verringern.

Post-Training für Agenten

Für das Post-Training stellt der Bericht TeleGym vor, eine Ausführungsplattform, die Interaktionen mit Agenten und bewertete Ergebnisse mit der Policy-Optimierung verknüpft. Eine gemeinsame Trajektorienrepräsentation hält die Abfolge der im Training verwendeten Interaktionen fest.

Generierung und Optimierung laufen asynchron auf getrennten Geräte-Pools. Die Plattform nutzt begrenztes Oversampling, um Aufgaben zu berücksichtigen, die unterschiedlich schnell abgeschlossen werden. Bei einem partiellen Rollout können unvollständige Trajektorien nach einer Policy-Aktualisierung fortgesetzt werden.

Der Workflow umfasst mathematisches Reasoning, Codegenerierung und mehrstufige Agentenaufgaben, schreiben die Forschenden. Das Labor erklärt, die Arbeit am Training im Maßstab von einer Billion Parametern laufe weiter.

Quellen

  1. Originalquelle · Preprint TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks arXiv:2611.22115

Weitere gelesene Seiten

  1. XingChen-AGI on Hugging Face huggingface.co

Verwandte Meldungen

Entdecken

Weitere Artikel