The Pulse
Un team afferma che gli agenti IA hanno aiutato a integrare SGLang con Spyre in meno di una settimana
Un team di due persone ha usato agenti di IA per la programmazione per creare in meno di una settimana un backend sperimentale di SGLang per l’acceleratore Spyre di IBM, secondo un post sul blog di PyTorch. Gli autori riferiscono un throughput superiore a quello di un’implementazione PyTorch di riferimento e prestazioni paragonabili a quelle di vLLM sui carichi di lavoro misurati.

Un team di due persone ha usato agenti di IA per la programmazione per integrare lo stack di serving SGLang con l’acceleratore Spyre di IBM in meno di una settimana, producendo un plugin di circa 1.500 righe, secondo un post sul blog di PyTorch pubblicato il 12 novembre. Il backend open source è sperimentale e il suo repository lo descrive come un prototipo funzionante, non come un backend supportato per l’uso in produzione.
Gli autori riferiscono che SGLang su Spyre ha raggiunto un throughput circa 3,6 volte superiore a quello di un’implementazione di riferimento dell’inferenza in PyTorch che usa torch-spyre. Hanno inoltre riscontrato prestazioni alla pari con vLLM sui carichi di lavoro misurati per Granite 3.3 8B e Gemma 4 26B A4B.
Partire dal supporto esistente
Spyre è l’acceleratore di IBM per l’inferenza IA aziendale. La sua integrazione esistente con torch-spyre lo registra come dispositivo PyTorch e lo collega a torch.compile, rendendo disponibile il supporto hardware attraverso le API standard di PyTorch.
Il team ha usato quel supporto esistente anziché scrivere da zero l’implementazione per l’hardware. Gli agenti di IA per la programmazione hanno preso come codice di riferimento le implementazioni PyTorch delle operazioni dell’acceleratore e hanno adattato il codice di integrazione alle interfacce backend del framework di serving.
Quattro piccole patch hanno esteso il supporto backend del framework di serving: due hanno reso disponibili percorsi di esecuzione esistenti senza dipendenze specifiche di CUDA, mentre due hanno registrato Spyre come dispositivo supportato e un backend di attenzione che non usa Triton. Le modifiche per la compatibilità possono supportare anche altri acceleratori; quelle per la registrazione sono specifiche di Spyre.
Che cosa riutilizza il plugin
L’integrazione attinge all’implementazione esistente di vLLM per Spyre, compreso il codice per raggruppare gli input in bucket, gestire le forme dei tensori e allocare la cache KV. Le implementazioni esistenti di RMSNorm, SiLU, GeLU, rotary embeddings e livelli lineari sono state collegate al dispatch degli operatori di SGLang.
Nell’integrazione iniziale, una classe base per l’attenzione forniva la logica circostante, lasciando al backend il compito di ridefinire l’operazione interna di attenzione con prodotto scalare scalato. Gli autori affermano che il riutilizzo di quella classe ha rappresentato circa due terzi della differenza tra il plugin di circa 1.500 righe e il backend vLLM esistente di circa 3.500 righe.
Anche il pool KV del framework, indipendente dal dispositivo, ha permesso di ridefinire un solo metodo per la creazione dei buffer, benché l’allocazione richiedesse ancora una gestione basata su PyTorch nei casi in cui il percorso esistente si affidava a Triton. La condivisione dei prefissi tramite RadixCache ha funzionato senza modifiche specifiche per Spyre, perché lo scheduler la risolve prima che l’esecuzione raggiunga l’acceleratore.
Ambito del prototipo
Il repository open source descrive il backend come un prototipo funzionante, non ancora supportato per l’uso in produzione. L’ambito documentato comprende la generazione di testo con modelli solo decoder, una dimensione del parallelismo tensoriale pari a 1 e FP16; max_running_requests=1 è la configurazione validata.
Il repository descrive SGLang RadixCache con pagine da 128 token, mentre l’esempio nel blog imposta una dimensione di pagina di 64 token. I grafi CUDA non sono usati; i blocchi decoder e i kernel di attenzione sono compilati con torch.compile.
L’esempio nel blog presuppone che il runtime Spyre, torch-spyre, il plugin e le relative patch di compatibilità siano già stati installati e configurati. Il repository specifica inoltre che torch-spyre deve essere compilato su un host Spyre supportato, con il runtime e il compilatore IBM disponibili.
Fonti
Notizie correlate
- Il team RadixArk descrive l’inferenza di Muse Spark Open di Meta su un solo host TPU
- AWS rende SGLang-Neuron disponibile pubblicamente in anteprima
- NEAR AI segnala una vulnerabilità di SGLang che ha esposto un server di inferenza e dati degli utenti
- PyTorch 2.15 adotta CUDA 13.2 come build GPU predefinita
- EUROPA riferisce di un addestramento MoE su scala 1T più rapido su un supercomputer pubblico