The Pulse
AWS añade recuperación de trabajos atascados y comprobaciones a SageMaker HyperPod
SageMaker HyperPod puede detectar trabajos de entrenamiento de Slurm atascados y, opcionalmente, cancelarlos para volver a ponerlos en cola. AWS también presentó una comprobación de validación del entrenamiento para EKS y un agente de monitorización de Kubernetes.

Ahora se pueden detectar los trabajos de entrenamiento de IA atascados en Amazon SageMaker HyperPod y, opcionalmente, cancelarlos para volver a ponerlos en cola en clústeres de Slurm. AWS también presentó una comprobación de validación del entrenamiento y un agente de monitorización de Kubernetes para los clústeres de HyperPod orquestados por Amazon Elastic Kubernetes Service (EKS), según una publicación de la empresa.
El agente de monitorización del estado existente vigila los nodos individuales para detectar errores de GPU, red y kernel, mientras que las comprobaciones exhaustivas del estado ponen a prueba el hardware y la conectividad. AWS afirma que esas comprobaciones no determinan si las GPU calculan correctamente durante el entrenamiento, si un trabajo avanza o si los componentes de Kubernetes están en buen estado.
Probar el entrenamiento en varias instancias
La nueva comprobación MultiNodeTrainingValidation ejecuta primero una carga de trabajo de entrenamiento fija en cada instancia y luego en varias instancias del mismo tipo. Está disponible para clústeres de EKS que usan instancias de GPU NVIDIA compatibles con redes Elastic Fabric Adapter (EFA). La prueba se ejecuta cuando se crean o actualizan las instancias configuradas, o a petición.
La comprobación ejecuta una breve carga de trabajo de Megatron-LM en todas las GPU de cada instancia y, a continuación, una prueba entre instancias mediante EFA. Las instancias fallan si la pérdida del entrenamiento se vuelve NaN o infinita, o si el entrenamiento no termina dentro del límite de tiempo. La documentación de AWS también indica como condición de fallo que la pérdida supere un umbral con respecto a su promedio inicial.
Las instancias que fallan se etiquetan y, si está activada la recuperación automática de nodos, se reinician o se sustituyen. Según la documentación, la comprobación alarga la ejecución de la comprobación exhaustiva del estado.
Monitorizar la capa de Kubernetes
Un agente independiente de monitorización de recursos de Kubernetes vigila los clústeres de EKS para detectar problemas como complementos de dispositivos que se bloquean repetidamente, DaemonSets ausentes y nodos con taints. Cuando falla un trabajo, informa de los pods y nodos implicados mediante eventos de Kubernetes y registros de Amazon CloudWatch.
También monitoriza los cambios en el estado de los nodos e informa del estado de comunicación de NCCL en los trabajos que optan por esta función. NCCL es la biblioteca de comunicación de NVIDIA que usan las pruebas de conectividad de GPU descritas en la publicación de AWS.
Detectar trabajos atascados
En los clústeres de Slurm, el nuevo detector de trabajos bloqueados ejecuta un agente en cada nodo y vigila la salida del trabajo y la actividad de la GPU, o patrones de registro definidos por el usuario. La detección está desactivada de forma predeterminada y debe habilitarse para cada trabajo mediante un archivo de reglas y una variable de entorno. Para que la función esté disponible, hay que actualizar el software de los clústeres existentes a la AMI más reciente.
Con la detección predeterminada, el agente busca que la salida se haya detenido mientras las GPU están inactivas pero siguen ocupando memoria, o una pausa más prolongada en la salida, independientemente del estado de las GPU. Las reglas personalizadas de patrones de registro sustituyen a esa detección predeterminada. Según la documentación de AWS, la detección predeterminada no puede detectar un trabajo que mantiene ocupadas las GPU sin avanzar, como uno atascado en un bucle.
La acción predeterminada registra un evento; también se puede configurar una acción de cancelación, y Slurm vuelve a poner en cola por defecto los trabajos cancelados. La detección de trabajos bloqueados ya existe para los trabajos de EKS ejecutados mediante el operador de entrenamiento de HyperPod, mientras que los trabajos de Ray Train la tienen de forma predeterminada.
Un ejemplo de costes
En un escenario ilustrativo de AWS, un trabajo de preentrenamiento utiliza 32 instancias ml.p5.48xlarge con 256 GPU NVIDIA H100 y queda bloqueado desde la 1:00 a. m. hasta las 9:00 a. m. AWS calcula que el bloqueo costaría unos 16.900 dólares, con el precio bajo demanda de HyperPod de aproximadamente 66 dólares por hora de instancia en US East (N. Virginia).
Con una regla de detección de 15 minutos que cancela el trabajo atascado para que Slurm lo vuelva a poner en cola, el coste estimado baja a unos 530 dólares, lo que supone un ahorro de aproximadamente 16.400 dólares. Las cifras corresponden al ejemplo de la empresa, no a un resultado medido en un cliente.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services · Introducing workload recovery and expanded infrastructure c… aws.amazon.com
Otras páginas leídas
- Amazon Web Services · Sagemaker hyperpod resiliency slurm hang detection docs.aws.amazon.com
- Amazon Web Services · Sagemaker hyperpod eks resiliency deep health checks docs.aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- AWS añade una tabla de clasificación de modelos a SageMaker JumpStart
- Exa afirma que las optimizaciones de los chips de AWS aumentaron alrededor de un 50 % el rendimiento de generación de embeddings
- Los clientes de AWS ya pueden desplegar el modelo de diálogo por voz de PolyAI a través de SageMaker JumpStart
- Aikido amplía las pruebas de penetración con IA a las aplicaciones de iOS
- Unsloth Desktop añade inferencia local en las NPU AMD XDNA 2 de los PC Ryzen AI