The Pulse
Saturn Cloud ofrece a los operadores versiones comprimidas de gpt-oss-120b, GLM-5.3 y DeepSeek-V4-Flash de Tileward
Quienes operan la fábrica de tokens de Saturn Cloud ya pueden desplegar versiones comprimidas de tres modelos abiertos de Tileward. Tileward informa de que su versión comprimida de GLM-5.3 es más pequeña que la versión FP8 del editor y obtuvo resultados similares en una prueba MMLU.

Quienes operan la fábrica de tokens de Saturn Cloud ya pueden desplegar versiones comprimidas de gpt-oss-120b, GLM-5.3 y DeepSeek-V4-Flash de Tileward. La alianza, descrita en un comunicado de Saturn Cloud del 20 de noviembre, pone los modelos a disposición de quienes operan la plataforma en sus propias GPU.
La oferta está disponible para neoclouds, operadores de fábricas de IA, empresas de telecomunicaciones, proveedores de IA soberana y empresas. Los clientes deben ponerse en contacto con cualquiera de las dos compañías para añadir los modelos a un despliegue.
Sustitución de los pesos del modelo
La fábrica de tokens convierte flotas de GPU en servicios gestionados de inferencia y fine-tuning que los operadores pueden vender con sus propias marcas. Incluye aislamiento de inquilinos, cuotas, medición del uso y gobernanza empresarial, y se ejecuta en NVIDIA Dynamo en nubes públicas, nubes privadas o instalaciones locales.
Saturn Cloud afirma que los operadores pueden sustituir los pesos de los modelos publicados por las versiones de Tileward sin cambiar su pila de servicio, sus inquilinos, sus tarifas ni su marca. La compañía afirma que la memoria liberada por la compresión puede permitir a los operadores ejecutar más copias de un modelo, alojar modelos grandes en menos GPU o atender a más usuarios simultáneos con contextos más largos.
La compañía también afirma que servir más tokens desde cada GPU reduce el coste por token, lo que deja margen a los operadores para aumentar sus márgenes o bajar los precios. Tileward ofrece modelos comprimidos que, según afirma, son hasta un 78 % más pequeños que sus pesos publicados, y los evalúa frente a los originales con benchmarks como MMLU, SWE-bench Verified y AgentBench.
Pruebas de compresión y calidad
En una evaluación aparte de GLM-5.3, Tileward informa de que su versión TWFP4 ocupa 464,8 GB, frente a los 755,6 GB de la versión FP8 de Z.ai y los 1.506,7 GB del original de 16 bits. La versión comprimida obtuvo una puntuación de 86,2 % en MMLU, frente al 86,1 % de la versión FP8 y el 86,3 % del original de 16 bits.
La evaluación de MMLU usó 14.042 preguntas, prompts de cinco ejemplos y ningún muestreo. Tileward fijó antes de la prueba un umbral de no más de un punto por debajo del original de 16 bits en la prueba pareada.
En DeepSWE, la versión comprimida resolvió 86 de 113 tareas como agente de programación, frente a las 74 de la versión FP8, en una ejecución de cada una. Tileward advierte que una sola ejecución de cada modelo solo detecta diferencias grandes y afirma que interpreta el resultado como evidencia de que su versión se mantiene bien en trabajos prolongados, no como prueba de que sea mejor programando.
En Terminal-Bench 2.0, la versión comprimida resolvió 56 de 77 tareas, frente a las 58 de la versión FP8, en la misma comparación. Esas cifras son resultados de las evaluaciones de Tileward, no una medición de los modelos ejecutándose en la fábrica de tokens de Saturn Cloud.
Benchmark de la pila de servicio
Por separado, Saturn Cloud informa de que sirvió Kimi K3 a 16 sesiones de agentes en directo en GPU NVIDIA GB300, con un total de 7.380 tokens por segundo por GPU y unos 37 tokens por segundo por usuario. La compañía afirma que el resultado coincidió con la receta del benchmark InferenceX de SemiAnalysis en las mismas GPU; los modelos de Tileward se ejecutan en la misma pila de servicio.
El sitio web de Saturn Cloud indica que tanto su ejecución como la de referencia forzaron la aceptación de la decodificación especulativa. En la misma prueba, un endpoint predeterminado de Kimi K3 sin decodificación especulativa ofreció un total de 5.557 tokens por segundo por GPU y 22,4 tokens por segundo por usuario.
Fuentes
- Fuente original · Nota de prensa Saturn Cloud · Saturn Cloud brings Tileward’s compressed models to its tok… prnewswire.com
Otras páginas leídas
- Tileward tileward.com
- Saturn Cloud · página 2 saturn-cloud.co
Noticias relacionadas
- FlashInfer en ROCm enruta automáticamente los kernels de GPU de AMD
- Dynatrace amplía la observabilidad en los flujos de trabajo de Gemini Enterprise
- Faex añade a su plataforma de IA pruebas de detección en investigación del ébola y H. pylori
- Kyutai publica AURA-5B para generar vídeos de personas hablando con fines no comerciales
- MLPerf Endpoints prueba servicios de IA en vivo con cargas similares a las de producción