The Pulse
AWS añade una tabla de clasificación de modelos a SageMaker JumpStart
Una nueva vista de SageMaker Studio compara al menos 70 modelos según sus puntuaciones en benchmarks, su velocidad y el coste estimado de las instancias. AWS afirma que realiza las pruebas de calidad con un método de evaluación común y señala algunas salvedades para las comparaciones entre modelos de razonamiento y modelos que no lo son.

Los usuarios de SageMaker Studio ya pueden comparar al menos 70 modelos según su calidad, velocidad y coste estimado de las instancias en una nueva tabla de clasificación, que incluye modelos de proveedores como Meta, Google, Qwen, IBM y Arcee. Amazon Web Services afirma que realiza por sí misma las pruebas de calidad con el mismo método de evaluación para todos los modelos.
La tabla de clasificación de modelos de JumpStart es una nueva vista de la página de modelos base de SageMaker JumpStart, junto a las vistas existentes de categorías y todos los modelos. Se abre con las clasificaciones de los modelos de lenguaje grandes, sin que los usuarios tengan que responder preguntas de configuración.
Qué miden las clasificaciones
La vista conserva la barra de búsqueda y los filtros existentes, incluidos los de licencia, proveedor y modalidad de entrada y salida. Los usuarios pueden ordenar las columnas de benchmarks, ocultar las métricas que no necesitan y compartir un enlace directo a la tabla de clasificación.
Un mapa de calor azul indica los resultados relativos en cada columna; cuanto más intenso es el tono, mejor es el resultado. Los nombres de los modelos permanecen visibles mientras los usuarios se desplazan horizontalmente por las métricas disponibles.
AWS ejecuta tres benchmarks públicos de razonamiento: BIG-Bench Hard, GPQA Diamond y MMLU-Pro. BIG-Bench Hard evalúa tareas que requieren razonamiento en varios pasos, como la deducción lógica y la aritmética; GPQA Diamond consta de preguntas científicas de nivel de posgrado; y MMLU-Pro evalúa conocimientos y razonamiento en materias como ciencia, derecho e ingeniería.
La tabla de clasificación muestra cada benchmark por separado, en lugar de combinar los resultados en una sola puntuación. AWS advierte que las puntuaciones de benchmarks distintos no son directamente comparables porque las pruebas tienen diferentes niveles de dificultad.
Velocidad, coste y opciones de despliegue
AWS afirma que mide el rendimiento y el coste enviando una carga de trabajo estandarizada a un endpoint desplegado con cada configuración de JumpStart. Las columnas de rendimiento incluyen el tiempo hasta el primer token, el rendimiento por solicitud en tokens por segundo y el coste estimado por hora de la instancia.
El coste estimado solo incluye el coste de la instancia de SageMaker, calculado según la tarifa por hora bajo demanda del tipo de instancia predeterminado de la configuración. No incluye la transferencia de datos, el almacenamiento, los costes de los componentes de inferencia ni descuentos como Reserved Instances o AWS Savings Plans; las facturas reales variarán.
Dos menús determinan qué cifras de rendimiento y coste se muestran. El perfil de caso de uso tiene Max Context como opción predeterminada y modifica esas cifras, pero no las puntuaciones de calidad. El objetivo de optimización tiene Balanced como opción predeterminada y selecciona una configuración de despliegue para el perfil elegido.
El objetivo Balanced selecciona la configuración con el menor coste estimado por token. Cost optimized selecciona el precio por hora de instancia más bajo, mientras que Latency optimized selecciona el menor tiempo hasta el primer token. Throughput optimized selecciona la configuración con mayor rendimiento, que puede utilizar decodificación especulativa.
Límites de la comparación
Los modelos de razonamiento y los que no lo son se evalúan con parámetros de generación distintos, por lo que las comparaciones entre ambos tipos son aproximadas. Las puntuaciones de GPQA Diamond para los modelos de razonamiento se calculan como el promedio de 10 pasadas.
AWS recomienda utilizar la tabla de clasificación para elaborar una lista breve y evaluar los candidatos mejor posicionados con los datos y prompts propios de la aplicación antes de llevarla a producción. También señala que cada métrica corresponde a la configuración con la que se midió; una configuración de despliegue distinta puede modificar la calidad, la latencia, el rendimiento y el coste.
Un usuario puede abrir un modelo desde la tabla de clasificación para desplegarlo o, si admite personalización sin servidor, personalizarlo. Para completar el flujo de trabajo, se necesita acceso a SageMaker Studio y permiso para desplegar modelos de JumpStart.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- Los clientes de AWS ya pueden desplegar el modelo de diálogo por voz de PolyAI a través de SageMaker JumpStart
- AWS publica resultados de fine-tuning completo para SageMaker sin servidor
- AWS añade recuperación de trabajos atascados y comprobaciones a SageMaker HyperPod
- Exa afirma que las optimizaciones de los chips de AWS aumentaron alrededor de un 50 % el rendimiento de generación de embeddings
- DMM y Algomatic Dynamics lanzan un enrutador para 60 o más modelos de IA