Ir para o conteúdo
AI.info

The Pulse

Saturn Cloud oferece aos operadores gpt-oss-120b, GLM-5.3 e DeepSeek-V4-Flash comprimidos pela Tileward

Operadores que usam a fábrica de tokens da Saturn Cloud agora podem implantar versões comprimidas de três modelos abertos da Tileward. A Tileward informa que sua versão comprimida do GLM-5.3 é menor que a versão FP8 da publicadora e teve desempenho semelhante em um teste MMLU.

Saturn Cloud oferece aos operadores gpt-oss-120b, GLM-5.3 e DeepSeek-V4-Flash comprimidos pela Tileward

Operadores que usam a fábrica de tokens da Saturn Cloud agora podem implantar versões comprimidas do gpt-oss-120b, GLM-5.3 e DeepSeek-V4-Flash, da Tileward. A parceria, descrita em um comunicado da Saturn Cloud em 20 de novembro, disponibiliza os modelos para operadores que executam a plataforma em suas próprias GPUs.

A oferta está disponível para neoclouds, operadores de fábricas de IA, empresas de telecomunicações, provedores de IA soberana e empresas. Os clientes precisam entrar em contato com uma das duas empresas para adicionar os modelos a uma implantação.

Substituição dos pesos dos modelos

A fábrica de tokens transforma frotas de GPUs em serviços gerenciados de inferência e fine-tuning que os operadores podem vender sob suas próprias marcas. Ela inclui isolamento de tenants, cotas, medição de uso e governança empresarial, e funciona no NVIDIA Dynamo em nuvens públicas, nuvens privadas ou instalações locais.

A Saturn Cloud afirma que os operadores podem substituir os pesos publicados dos modelos pelas versões da Tileward sem mudar sua stack de serving, os tenants, as tabelas de preços ou a marca. A empresa diz que a memória liberada pela compressão pode permitir que os operadores executem mais cópias de um modelo, acomodem modelos grandes em menos GPUs ou atendam mais usuários simultaneamente com contextos mais longos.

A empresa também afirma que servir mais tokens por GPU reduz o custo por token, dando aos operadores margem para aumentar as margens ou reduzir os preços. A Tileward oferece modelos comprimidos que, segundo a empresa, são até 78% menores que seus pesos publicados, e os avalia em comparação com os originais usando benchmarks como MMLU, SWE-bench Verified e AgentBench.

Testes de compressão e qualidade

Em uma avaliação separada do GLM-5.3, a Tileward informa que sua versão TWFP4 tem 464,8 GB, em comparação com 755,6 GB da versão FP8 da Z.ai e 1.506,7 GB da versão original de 16 bits. A versão comprimida obteve 86,2% no MMLU, contra 86,1% da versão FP8 e 86,3% da versão original de 16 bits.

A avaliação do MMLU usou 14.042 perguntas, prompts com cinco exemplos e nenhuma amostragem. Antes da execução, a Tileward definiu um limite: ficar no máximo um ponto abaixo da versão original de 16 bits no teste pareado.

No DeepSWE, a versão comprimida resolveu 86 de 113 tarefas como agente de programação, em comparação com 74 da versão FP8, em uma execução de cada. A Tileward ressalva que uma única execução de cada detecta apenas grandes diferenças e diz interpretar o resultado como evidência de que sua versão se sai bem em trabalhos longos, não de que seja melhor em programação.

No Terminal-Bench 2.0, a versão comprimida resolveu 56 de 77 tarefas, contra 58 da versão FP8, na mesma comparação. Esses números são resultados da avaliação da Tileward, não uma medição dos modelos em execução na fábrica de tokens da Saturn Cloud.

Benchmark da stack de serving

Separadamente, a Saturn Cloud informa que serviu o Kimi K3 a 16 sessões de agentes em execução em GPUs NVIDIA GB300, com um total de 7.380 tokens por segundo por GPU e cerca de 37 tokens por segundo por usuário. A empresa afirma que o resultado correspondeu à receita do benchmark InferenceX da SemiAnalysis nas mesmas GPUs; os modelos da Tileward rodam na mesma stack de serving.

O site da Saturn Cloud diz que tanto sua execução quanto a referência forçaram a aceitação da decodificação especulativa. No mesmo teste, um endpoint padrão do Kimi K3, sem decodificação especulativa, entregou um total de 5.557 tokens por segundo por GPU, a 22,4 tokens por segundo por usuário.

Fontes

  1. Fonte original · Comunicado de imprensa Saturn Cloud · Saturn Cloud brings Tileward’s compressed models to its tok… prnewswire.com

Outras páginas lidas

  1. Tileward tileward.com
  2. Saturn Cloud · página 2 saturn-cloud.co

Notícias relacionadas

Explore

Mais artigos