The Pulse
AWS ajoute à SageMaker HyperPod la reprise des tâches bloquées et des contrôles
SageMaker HyperPod peut détecter les tâches d’entraînement Slurm bloquées et, en option, les annuler afin qu’elles soient remises en file d’attente. AWS a également introduit un contrôle de validation de l’entraînement pour EKS et un agent de surveillance Kubernetes.

Les tâches d’entraînement de l’IA bloquées sur Amazon SageMaker HyperPod peuvent désormais être détectées et, en option, annulées afin d’être remises en file d’attente sur les clusters Slurm. AWS a également introduit un contrôle de validation de l’entraînement et un agent de surveillance Kubernetes pour les clusters HyperPod orchestrés par Amazon Elastic Kubernetes Service (EKS), selon une publication de l’entreprise.
L’agent de surveillance de l’état de santé existant surveille les nœuds individuellement pour détecter les erreurs liées aux GPU, au réseau et au noyau, tandis que les contrôles approfondis de l’état de santé testent le matériel et la connectivité. AWS indique que ces contrôles ne permettent pas d’établir si les GPU calculent correctement pendant l’entraînement, si une tâche progresse ou si les composants Kubernetes sont en bon état.
Tester l’entraînement sur plusieurs instances
Le nouveau contrôle MultiNodeTrainingValidation exécute une charge de travail d’entraînement fixe, d’abord sur chaque instance, puis sur plusieurs instances du même type. Il est disponible pour les clusters EKS utilisant des instances GPU NVIDIA prises en charge et le réseau Elastic Fabric Adapter (EFA). Le test s’exécute lorsque les instances configurées sont créées ou mises à jour, ou à la demande.
Le contrôle exécute une courte charge de travail Megatron-LM sur tous les GPU de chaque instance, puis un test entre les instances utilisant EFA. Les instances échouent au contrôle si la perte d’entraînement devient NaN ou infinie, ou si l’entraînement ne se termine pas dans le délai imparti. La documentation d’AWS indique également comme condition d’échec une hausse de la perte au-delà d’un seuil par rapport à sa moyenne initiale.
Les instances ayant échoué sont étiquetées et, si la récupération automatique des nœuds est activée, redémarrées ou remplacées. Selon la documentation, le contrôle allonge l’exécution du contrôle approfondi de l’état de santé.
Surveiller la couche Kubernetes
Un agent distinct de surveillance des ressources Kubernetes observe les clusters EKS à la recherche de problèmes, notamment des modules d’extension de périphérique qui plantent à répétition, des DaemonSets manquants et des nœuds portant des taints. Lorsqu’une tâche échoue, il signale les pods et les nœuds concernés au moyen d’événements Kubernetes et de journaux Amazon CloudWatch.
Il surveille également les changements d’état des nœuds et signale l’état des communications NCCL pour les tâches qui choisissent de l’activer. NCCL est la bibliothèque de communication de NVIDIA utilisée par les tests de connectivité des GPU décrits dans la publication d’AWS.
Détecter les tâches bloquées
Pour les clusters Slurm, le nouveau détecteur de tâches bloquées exécute un agent sur chaque nœud et surveille la sortie des tâches et l’activité des GPU, ou des motifs de journal définis par l’utilisateur. La détection est désactivée par défaut et doit être activée pour chaque tâche au moyen d’un fichier de règles et d’une variable d’environnement. Les clusters existants doivent mettre à jour leur logiciel vers la dernière AMI pour que la fonctionnalité soit disponible.
Avec la détection par défaut, l’agent recherche une sortie interrompue alors que les GPU sont inactifs mais occupent encore de la mémoire, ou une interruption plus longue de la sortie, quel que soit l’état des GPU. Les règles personnalisées fondées sur des motifs de journal remplacent cette détection par défaut. La détection par défaut ne peut pas repérer une tâche qui continue d’utiliser intensivement ses GPU sans progresser, par exemple si elle est bloquée dans une boucle, indique la documentation d’AWS.
L’action par défaut consiste à enregistrer un événement ; une action d’annulation peut également être configurée, Slurm remettant par défaut les tâches annulées en file d’attente. La détection des tâches bloquées existe déjà pour les tâches EKS exécutées via l’opérateur d’entraînement HyperPod, tandis que les tâches Ray Train en bénéficient par défaut.
Une illustration des coûts
Dans un scénario illustratif d’AWS, une tâche de pré-entraînement utilise 32 instances ml.p5.48xlarge avec 256 GPU NVIDIA H100 et se bloque de 1 h à 9 h du matin. AWS estime que ce blocage coûterait environ 16 900 dollars, au tarif à la demande d’HyperPod d’environ 66 dollars par heure et par instance dans la région USA Est (Virginie du Nord).
Avec une règle de détection de 15 minutes qui annule la tâche bloquée afin que Slurm la remette en file d’attente, le coût estimé tombe à environ 530 dollars, soit une économie d’environ 16 400 dollars. Ces chiffres correspondent à l’exemple de l’entreprise, et non à un résultat mesuré chez un client.
Sources
- Source originale · Billet de blog Amazon Web Services · Introducing workload recovery and expanded infrastructure c… aws.amazon.com
Autres pages lues
- Amazon Web Services · Sagemaker hyperpod resiliency slurm hang detection docs.aws.amazon.com
- Amazon Web Services · Sagemaker hyperpod eks resiliency deep health checks docs.aws.amazon.com
Entreprises citées
Articles liés
- AWS ajoute un classement des modèles à SageMaker JumpStart
- Exa affirme que les optimisations des puces AWS ont augmenté d’environ 50 % le débit de calcul des embeddings
- Les clients d’AWS peuvent désormais déployer le modèle de dialogue vocal de PolyAI via SageMaker JumpStart
- Aikido étend ses tests d’intrusion par l’IA aux applications iOS
- Unsloth Desktop ajoute l’inférence locale sur les NPU AMD XDNA 2 des PC Ryzen AI