Ir para o conteúdo
AI.info

The Pulse

AWS adiciona recuperação de tarefas travadas e verificações ao SageMaker HyperPod

O SageMaker HyperPod pode detectar tarefas de treinamento travadas no Slurm e, opcionalmente, cancelá-las para recolocá-las na fila. A AWS também introduziu uma verificação de validação de treinamento para EKS e um agente de monitoramento do Kubernetes.

AWS adiciona recuperação de tarefas travadas e verificações ao SageMaker HyperPod

Agora, tarefas de treinamento de IA travadas no Amazon SageMaker HyperPod podem ser detectadas e, opcionalmente, canceladas para serem recolocadas na fila em clusters Slurm. A AWS também introduziu uma verificação de validação de treinamento e um agente de monitoramento do Kubernetes para clusters HyperPod orquestrados pelo Amazon Elastic Kubernetes Service (EKS), segundo uma publicação da empresa.

O agente de monitoramento de integridade existente observa nós individuais em busca de erros de GPU, rede e kernel, enquanto as verificações profundas de integridade testam o hardware e a conectividade. Segundo a AWS, essas verificações não determinam se as GPUs calculam corretamente durante o treinamento, se uma tarefa está avançando ou se os componentes do Kubernetes estão saudáveis.

Testes de treinamento entre instâncias

A nova verificação MultiNodeTrainingValidation executa primeiro uma carga de trabalho de treinamento fixa em cada instância e, depois, entre instâncias do mesmo tipo. Ela está disponível para clusters EKS que usam instâncias de GPU NVIDIA compatíveis com rede Elastic Fabric Adapter (EFA). O teste é executado quando as instâncias configuradas são criadas ou atualizadas, ou sob demanda.

A verificação executa uma carga de trabalho curta do Megatron-LM em todas as GPUs de cada instância, seguida por um teste entre instâncias que usa EFA. As instâncias falham se a perda de treinamento se tornar NaN ou infinita, ou se o treinamento não terminar dentro do limite de tempo. A documentação da AWS também lista como condição de falha o aumento da perda acima de um limite em relação à média inicial.

As instâncias que falham recebem um rótulo e, se a recuperação automática de nós estiver ativada, são reinicializadas ou substituídas. Segundo a documentação, a verificação aumenta a duração da execução da verificação profunda de integridade.

Monitoramento da camada do Kubernetes

Um agente separado, o Kubernetes Resource Monitoring Agent, monitora clusters EKS em busca de problemas como plugins de dispositivo que travam repetidamente, DaemonSets ausentes e nós marcados com taints. Quando uma tarefa falha, ele informa os pods e nós envolvidos por meio de eventos do Kubernetes e logs do Amazon CloudWatch.

Ele também monitora mudanças nas condições dos nós e informa o estado da comunicação NCCL para tarefas que optam por isso. NCCL é a biblioteca de comunicação da NVIDIA usada nos testes de conectividade de GPU descritos na publicação da AWS.

Detecção de tarefas travadas

Nos clusters Slurm, o novo detector de tarefas travadas executa um agente em cada nó e monitora a saída da tarefa e a atividade das GPUs, ou padrões de log definidos pelo usuário. A detecção fica desativada por padrão e precisa ser habilitada para cada tarefa por meio de um arquivo de regras e de uma variável de ambiente. Para que o recurso fique disponível em clusters existentes, o software deles precisa ser atualizado para a AMI mais recente.

Com a detecção padrão, o agente procura uma interrupção na saída enquanto as GPUs estão ociosas, mas ainda retêm memória, ou uma pausa mais longa na saída, independentemente do estado das GPUs. Regras personalizadas de padrões de log substituem essa detecção padrão. A detecção padrão não consegue identificar uma tarefa que mantém as GPUs ocupadas sem avançar, como uma que fica presa em um loop, segundo a documentação da AWS.

A ação padrão registra um evento; também é possível configurar uma ação de cancelamento, e o Slurm recoloca tarefas canceladas na fila por padrão. A detecção de tarefas travadas já existe para tarefas EKS executadas pelo operador de treinamento do HyperPod, enquanto as tarefas do Ray Train contam com ela por padrão.

Uma estimativa de custos

Em um cenário ilustrativo da AWS, uma tarefa de pré-treinamento usa 32 instâncias ml.p5.48xlarge com 256 GPUs NVIDIA H100 e fica travada da 1h às 9h. A AWS estima que o travamento custaria cerca de US$ 16.900, considerando o preço sob demanda do HyperPod de aproximadamente US$ 66 por hora-instância na região Leste dos EUA (N. Virgínia).

Com uma regra de detecção de 15 minutos que cancela a tarefa travada para que o Slurm a recoloque na fila, o custo estimado cai para cerca de US$ 530, uma economia de aproximadamente US$ 16.400. Os valores descrevem o exemplo da empresa, e não um resultado medido com um cliente.

Fontes

  1. Fonte original · Post de blog Amazon Web Services · Introducing workload recovery and expanded infrastructure c… aws.amazon.com

Outras páginas lidas

  1. Amazon Web Services · Sagemaker hyperpod resiliency slurm hang detection docs.aws.amazon.com
  2. Amazon Web Services · Sagemaker hyperpod eks resiliency deep health checks docs.aws.amazon.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos