The Pulse
Saturn Cloud offre agli operatori versioni compresse di gpt-oss-120b, GLM-5.3 e DeepSeek-V4-Flash da Tileward
Gli operatori che utilizzano la fabbrica di token di Saturn Cloud possono ora distribuire versioni compresse di tre modelli aperti di Tileward. Tileward riferisce che la sua versione compressa di GLM-5.3 è più piccola della release FP8 dell’editore e ha ottenuto risultati simili in un test MMLU.

Gli operatori che utilizzano la fabbrica di token di Saturn Cloud possono ora distribuire versioni compresse di gpt-oss-120b, GLM-5.3 e DeepSeek-V4-Flash di Tileward. La partnership, descritta in un comunicato di Saturn Cloud del 20 novembre, rende i modelli disponibili agli operatori che eseguono la piattaforma sulle proprie GPU.
L’offerta è disponibile per i neocloud, gli operatori di fabbriche di IA, le società di telecomunicazioni, i fornitori di IA sovrana e le imprese. I clienti devono contattare una delle due società per aggiungere i modelli a una distribuzione.
Sostituire i pesi dei modelli
La fabbrica di token trasforma flotte di GPU in servizi gestiti di inferenza e fine-tuning che gli operatori possono vendere con i propri marchi. Include isolamento dei tenant, quote, misurazione dell’utilizzo e governance aziendale, e funziona su NVIDIA Dynamo nei cloud pubblici, nei cloud privati o in locale.
Saturn Cloud afferma che gli operatori possono sostituire i pesi dei modelli pubblicati con le versioni di Tileward senza modificare il proprio stack di serving, i tenant, i listini tariffari o il marchio. La società afferma che la memoria liberata dalla compressione può consentire agli operatori di eseguire più copie di un modello, far rientrare modelli di grandi dimensioni in un numero inferiore di GPU o servire più utenti simultanei con contesti più lunghi.
La società afferma inoltre che servire più token da ogni GPU riduce il costo per token, lasciando agli operatori spazio per aumentare i margini o ridurre i prezzi. Tileward offre modelli compressi che, secondo quanto afferma, sono fino al 78% più piccoli rispetto ai rispettivi pesi pubblicati, e li valuta rispetto agli originali utilizzando benchmark tra cui MMLU, SWE-bench Verified e AgentBench.
Compressione e test di qualità
In una valutazione separata di GLM-5.3, Tileward riferisce che la sua versione TWFP4 è di 464,8 GB, rispetto ai 755,6 GB della release FP8 di Z.ai e ai 1.506,7 GB dell’originale a 16 bit. La versione compressa ha ottenuto l’86,2% in MMLU, contro l’86,1% della release FP8 e l’86,3% dell’originale a 16 bit.
La valutazione MMLU ha utilizzato 14.042 domande, prompting a cinque esempi e nessun campionamento. Tileward ha fissato prima dell’esecuzione una soglia di non più di un punto sotto l’originale a 16 bit nel test appaiato.
Su DeepSWE, la versione compressa ha risolto 86 attività su 113 come agente di programmazione, rispetto alle 74 della release FP8, in una singola esecuzione per ciascuna. Tileward avverte che una sola esecuzione per ciascuna rileva soltanto divari ampi e afferma di considerare il risultato una prova che la sua versione regge su attività prolungate, non che sia un programmatore migliore.
In Terminal-Bench 2.0, la versione compressa ha risolto 56 attività su 77, contro le 58 della release FP8, nello stesso confronto. Queste cifre sono risultati della valutazione di Tileward, non una misurazione dei modelli in esecuzione nella fabbrica di token di Saturn Cloud.
Benchmark dello stack di serving
Separatamente, Saturn Cloud riferisce di aver servito Kimi K3 a 16 sessioni live di agenti su GPU NVIDIA GB300, raggiungendo un totale di 7.380 token al secondo per GPU e circa 37 token al secondo per utente. La società afferma che il risultato ha corrisposto alla procedura del benchmark InferenceX di SemiAnalysis sulle stesse GPU; i modelli di Tileward funzionano sullo stesso stack di serving.
Il sito web di Saturn Cloud afferma che sia la sua esecuzione sia quella di riferimento imponevano l’accettazione della decodifica speculativa. Nello stesso test, un endpoint Kimi K3 predefinito senza decodifica speculativa ha fornito 5.557 token totali al secondo per GPU a 22,4 token al secondo per utente.
Fonti
- Fonte originale · Comunicato stampa Saturn Cloud · Saturn Cloud brings Tileward’s compressed models to its tok… prnewswire.com
Altre pagine lette
- Tileward tileward.com
- Saturn Cloud · pagina 2 saturn-cloud.co
Notizie correlate
- FlashInfer su ROCm instrada automaticamente i kernel delle GPU AMD
- Qualcomm AI200 apre ai test di alcuni clienti su Cirrascale
- Intel presenta la GPU D270 per l’HPC con dati su benchmark finanziari e di IA
- Dynatrace amplia l’osservabilità nei flussi di lavoro di Gemini Enterprise
- Faex aggiunge alla sua piattaforma di IA lo screening sperimentale per Ebola e H. pylori