Vai al contenuto
AI.info

The Pulse

China Telecom descrive l’addestramento di Xing 4 su 8.192 chip Ascend

I ricercatori di China Telecom descrivono il pretraining di un modello Xing 4 da 285 miliardi di parametri su 8.192 schede Ascend 910C. Il loro rapporto descrive anche un modello più piccolo da 29 miliardi di parametri con pesi aperti e una piattaforma per l’addestramento di agenti chiamata TeleGym.

China Telecom descrive l’addestramento di Xing 4 su 8.192 chip Ascend

I ricercatori di China Telecom hanno descritto il pretraining di un modello linguistico Xing 4 da 285 miliardi di parametri su 8.192 schede Ascend 910C. Il rapporto, un preprint presentato ad arXiv il 17 novembre dallo Xingchen AGI Lab dell’azienda, descrive anche un modello più piccolo con pesi aperti e software per addestrare modelli su compiti di ragionamento e attività di agenti.

Xing 4 prosegue la famiglia di modelli TeleChat e adotta un’architettura a miscela di esperti, in cui per ogni token viene attivata solo una parte dei parametri del modello. Il modello più grande attiva circa 17 miliardi di parametri per token e supporta contesti fino a 1 milione di token, secondo il rapporto.

Un modello più piccolo con pesi aperti

Il laboratorio ha anche reso open source Xing4.0-29B-A4B, un modello a miscela di esperti con 29 miliardi di parametri complessivi. Attiva 4 miliardi di parametri per token e supporta un contesto nativo di 256.000 token.

Il modello più piccolo è stato addestrato interamente su unità di elaborazione neurale Ascend usando il framework MindSpore. La scheda del modello afferma che il contesto può essere esteso a 512.000 token e indica un corpus di addestramento di 1,5 trilioni di token bilingui in cinese e inglese. I pesi sono disponibili con licenza Apache 2.0.

Scelte architetturali

Il rapporto esamina come le dimensioni del modello, il design dell’attenzione e l’equilibrio tra profondità e larghezza influiscano sull’uso di calcolo e memoria. Prende in considerazione anche la decodifica speculativa, un metodo che usa un modello draft per generare output.

Il modello da 29 miliardi di parametri combina hyper-connection vincolate alla varietà con multi-head latent attention e previsione di più token. Per la configurazione più grande, il rapporto descrive la combinazione di multi-head latent attention, DeepSeek Sparse Attention e un approccio chiamato IndexShare, che riutilizza gli indici di attenzione tra i livelli.

Insieme a queste scelte di attenzione, i ricercatori studiano un’architettura a miscela di esperti più larga e meno profonda. Descrivono anche DSpark, un approccio di decodifica speculativa che abbina un modello draft a blocchi a teste di correzione leggere.

Infrastruttura di addestramento

Per il pretraining, il team ha sviluppato il proprio lavoro a partire da MindSpore HyperParallel, distribuendo lo stato del modello in modo da tenere conto della gerarchia della larghezza di banda del cluster. Il rapporto descrive anche l’assegnazione del lavoro dell’ottimizzatore a processi designati, invece di ripetere gli stessi calcoli su ciascuno di essi.

Le sequenze lunghe comportano ulteriori esigenze di memoria e possono lasciare i carichi di lavoro distribuiti in modo disomogeneo. Il sistema affronta questi problemi con un’assegnazione dei carichi di lavoro basata sui costi, schemi dei token riutilizzabili e ricalcolo selettivo. I ricercatori descrivono anche l’uso dell’affinità CPU e dell’isolamento dei core per ridurre le interferenze nella pianificazione sull’host.

Post-training degli agenti

Per il post-training, il rapporto presenta TeleGym, una piattaforma di esecuzione che collega le interazioni degli agenti e gli esiti della valutazione all’ottimizzazione della policy. La sua rappresentazione condivisa delle traiettorie registra la sequenza di interazioni usata durante l’addestramento.

La generazione e l’ottimizzazione vengono eseguite in modo asincrono su pool di dispositivi separati. La piattaforma usa un sovracampionamento limitato per gestire attività che terminano a velocità diverse, mentre il rollout parziale permette alle traiettorie non completate di proseguire dopo un aggiornamento della policy.

Il flusso di lavoro comprende ragionamento matematico, generazione di codice e attività di agenti su più turni, affermano i ricercatori. Il laboratorio dichiara che sono in corso lavori sull’addestramento alla scala del trilione di parametri.

Fonti

  1. Fonte originale · Preprint TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks arXiv:2611.22115

Altre pagine lette

  1. XingChen-AGI on Hugging Face huggingface.co

Notizie correlate

Esplora

Altri articoli