Zum Inhalt springen
AI.info

The Pulse

Saturn Cloud bietet Betreibern komprimierte Modelle gpt-oss-120b, GLM-5.3 und DeepSeek-V4-Flash von Tileward an

Betreiber, die Saturn Clouds Token-Fabrik nutzen, können nun komprimierte Versionen von drei offenen Modellen von Tileward einsetzen. Tileward zufolge ist seine komprimierte GLM-5.3-Version kleiner als die FP8-Version des Herausgebers und schnitt in einem MMLU-Test ähnlich ab.

Saturn Cloud bietet Betreibern komprimierte Modelle gpt-oss-120b, GLM-5.3 und DeepSeek-V4-Flash von Tileward an

Betreiber, die Saturn Clouds Token-Fabrik nutzen, können nun komprimierte Versionen von gpt-oss-120b, GLM-5.3 und DeepSeek-V4-Flash von Tileward einsetzen. Die Partnerschaft, die in einer Mitteilung von Saturn Cloud vom 20. November beschrieben wird, macht die Modelle für Betreiber verfügbar, die die Plattform auf ihren eigenen GPUs betreiben.

Das Angebot richtet sich an Neoclouds, Betreiber von KI-Fabriken, Telekommunikationsunternehmen, Anbieter souveräner KI und Unternehmen. Kunden müssen eines der beiden Unternehmen kontaktieren, um die Modelle einer Bereitstellung hinzuzufügen.

Modellgewichte austauschen

Die Token-Fabrik macht aus GPU-Flotten verwaltete Inferenz- und Fine-Tuning-Dienste, die Betreiber unter ihren eigenen Marken verkaufen können. Sie umfasst Mandantenisolierung, Kontingente, Nutzungsüberwachung und Governance für Unternehmen und läuft mit NVIDIA Dynamo in öffentlichen Clouds, privaten Clouds oder vor Ort.

Saturn Cloud zufolge können Betreiber die veröffentlichten Modellgewichte durch Tilewards Versionen ersetzen, ohne ihren Serving-Stack, ihre Mandanten, Preistabellen oder ihre Marke zu ändern. Das Unternehmen sagt, der durch die Komprimierung frei werdende Speicher könne es Betreibern ermöglichen, mehr Kopien eines Modells auszuführen, große Modelle auf weniger GPUs unterzubringen oder mehr gleichzeitige Nutzer mit längeren Kontexten zu bedienen.

Das Unternehmen sagt außerdem, dass die Bereitstellung einer größeren Zahl von Tokens auf jeder GPU die Kosten pro Token senkt und Betreibern damit Spielraum gibt, ihre Margen zu erhöhen oder die Preise zu senken. Tileward bietet komprimierte Modelle an, die seinen Angaben zufolge bis zu 78 % kleiner sind als ihre veröffentlichten Gewichte, und bewertet sie anhand von Benchmarks wie MMLU, SWE-bench Verified und AgentBench im Vergleich mit den Originalen.

Komprimierung und Qualitätstests

In einer separaten Bewertung von GLM-5.3 berichtet Tileward, dass seine TWFP4-Version 464,8 GB groß ist, verglichen mit 755,6 GB für Z.ais FP8-Version und 1.506,7 GB für das 16-Bit-Original. Die komprimierte Version erzielte bei MMLU 86,2 %, gegenüber 86,1 % für die FP8-Version und 86,3 % für das 16-Bit-Original.

Bei der MMLU-Bewertung kamen 14.042 Fragen, Five-Shot-Prompting und kein Sampling zum Einsatz. Tileward legte vor dem Durchlauf als Schwellenwert fest, dass die Ergebnisse im gepaarten Test höchstens einen Punkt unter dem 16-Bit-Original liegen dürfen.

Bei DeepSWE löste die komprimierte Version als Coding-Agent 86 von 113 Aufgaben, verglichen mit 74 bei der FP8-Version, wobei jede Version einmal getestet wurde. Tileward weist darauf hin, dass ein einzelner Durchlauf pro Version nur große Abstände erkennen lässt, und sagt, es werte das Ergebnis als Beleg dafür, dass seine Version auch bei längeren Aufgaben gut abschneidet, nicht aber dafür, dass sie besser programmiert.

Bei Terminal-Bench 2.0 löste die komprimierte Version im selben Vergleich 56 von 77 Aufgaben, gegenüber 58 bei der FP8-Version. Diese Zahlen sind Tilewards Bewertungsergebnisse und keine Messung der Modelle, die in Saturn Clouds Token-Fabrik laufen.

Benchmark des Serving-Stacks

Unabhängig davon berichtet Saturn Cloud, Kimi K3 auf NVIDIA-GB300-GPUs für 16 aktive Agentensitzungen mit insgesamt 7.380 Tokens pro Sekunde je GPU und etwa 37 Tokens pro Sekunde je Nutzer bereitgestellt zu haben. Das Unternehmen sagt, das Ergebnis entspreche dem Benchmark-Rezept von SemiAnalysis InferenceX auf denselben GPUs; Tilewards Modelle laufen auf demselben Serving-Stack.

Laut der Website von Saturn Cloud erzwangen sowohl der eigene Durchlauf als auch der Referenzdurchlauf die Akzeptanz beim Speculative Decoding. Im selben Test lieferte ein standardmäßiger Kimi-K3-Endpunkt ohne Speculative Decoding insgesamt 5.557 Tokens pro Sekunde je GPU und 22,4 Tokens pro Sekunde je Nutzer.

Quellen

  1. Originalquelle · Pressemitteilung Saturn Cloud · Saturn Cloud brings Tileward’s compressed models to its tok… prnewswire.com

Weitere gelesene Seiten

  1. Tileward tileward.com
  2. Saturn Cloud · Seite 2 saturn-cloud.co

Verwandte Meldungen

Entdecken

Weitere Artikel