The Pulse
AWS rende SGLang-Neuron disponibile pubblicamente in anteprima
Il plugin consente agli sviluppatori di servire modelli e generare rollout di apprendimento per rinforzo su Trainium tramite SGLang. Il repository descrive il rilascio come un’anteprima pubblica, le cui funzionalità e i modelli supportati possono cambiare.

Gli sviluppatori possono ora usare SGLang per servire modelli di IA sui chip AWS Trainium tramite un plugin disponibile pubblicamente, secondo un post di Amazon Web Services del 12 novembre. RadixArk ha rilasciato il plugin, SGLang-Neuron, insieme ad Annapurna Labs, ed è accessibile tramite un AWS Deep Learning Container.
Il repository del progetto definisce il rilascio un’anteprima pubblica e afferma che le sue funzionalità, le API e i modelli supportati possono cambiare nei rilasci successivi. Il plugin supporta anche la generazione di rollout di apprendimento per rinforzo su Trainium. Gli sviluppatori avviano i modelli tramite l’interfaccia server di SGLang e richiamano l’endpoint usando le stesse API di generazione.
Il rilascio pubblico segue l’annuncio della beta del 22 ottobre da parte del team di SGLang, che aveva dichiarato che l’accesso iniziale era limitato a un piccolo gruppo di team. La beta comprendeva l’inferenza in modalità serving e la generazione di rollout di apprendimento per rinforzo su Trainium2 e Trainium3.
Come funziona il plugin
SGLang-Neuron è un plugin out-of-tree che collega SGLang a Trainium. Installandolo, la piattaforma Neuron viene registrata tramite i punti di ingresso del plugin; impostando SGLANG_PLATFORM=neuron si seleziona la piattaforma all’avvio del server.
Il core di SGLang continua a fornire il server API, il ciclo di vita delle richieste, RadixAttention e la gestione della cache dei prefissi. Il plugin implementa i modelli specifici per Trainium, l’attention, la mixture of experts e il graph runner.
TorchNeuron registra Trainium come dispositivo PyTorch nativo. Il plugin usa operazioni PyTorch standard per l’esecuzione dei modelli e integra kernel scritti con Neuron Kernel Interface. Queste operazioni e questi kernel vengono compilati con torch.compile in programmi che il graph runner prepara ed esegue durante il serving.
Configurazioni di serving
Il plugin supporta anche la disaggregazione di prefill e decode. In questa configurazione, un server di prefill calcola la cache KV del prompt e la trasferisce a un server di decode usando NIXL su Elastic Fabric Adapter; il server di decode genera i token rimanenti. Ogni server mantiene lo scheduler e il ciclo di vita delle richieste di SGLang, mentre il plugin gestisce l’esecuzione su Trainium e il percorso di trasferimento della cache.
Il repository afferma che i modelli linguistici di grandi dimensioni inclusi nell’anteprima vengono eseguiti su istanze Trn3, mentre i modelli di diffusione vengono eseguiti su trn2.48xlarge. Tra i requisiti per la configurazione del container, il repository elenca un driver Neuron, Docker Engine e Neuron SDK 2.33.0. Per il serving disaggregato, indica Elastic Fabric Adapter tra i nodi.
AWS mostra il plugin su un’istanza Amazon Elastic Compute Cloud Trainium3. Nell’esempio, avvia openai/gpt-oss-120b all’interno del container e invia una richiesta al server del modello. L’esempio imposta sia il parallelismo tensoriale sia il parallelismo degli esperti a 8, con una lunghezza del contesto di 10240 e un massimo di 64 richieste in esecuzione.
Un precedente esperimento di rollout
Nell’annuncio della beta, il team di SGLang ha descritto una prima esecuzione in cui ha generato rollout per Qwen3-MoE-30B-A3B su Trainium3. Miles, il suo framework di post-training per l’apprendimento per rinforzo, ha addestrato la policy GRPO con Megatron su un singolo nodo H200. Il team ha dichiarato che la configurazione ha completato un ciclo di addestramento stabile.
Il team ha descritto la generazione dei rollout e gli aggiornamenti della policy come fasi distinte del post-training per l’apprendimento per rinforzo. Nel suo esempio, Miles si è collegato a SGLang su Trainium come motore esterno per i rollout, mentre l’addestramento si svolgeva sul nodo separato.
Fonti
Aziende in questa notizia
Notizie correlate
- Un team afferma che gli agenti IA hanno aiutato a integrare SGLang con Spyre in meno di una settimana
- NEAR AI segnala una vulnerabilità di SGLang che ha esposto un server di inferenza e dati degli utenti
- Cloudflare rileva dati di altri utenti in 155 risposte di GLM-5.3
- AWS illustra la distribuzione dell’anteprima di ricerca di OpenFold3 su SageMaker
- H Company rende disponibili gli agenti di IA su AWS European Sovereign Cloud