The Pulse
AWS ergänzt SageMaker HyperPod um die Wiederherstellung hängender Jobs und Prüfungen
SageMaker HyperPod kann hängende Slurm-Trainingsjobs erkennen und sie optional abbrechen, damit sie erneut in die Warteschlange gestellt werden. AWS hat außerdem eine Validierungsprüfung für EKS-Trainingsjobs und einen Kubernetes-Überwachungsagenten eingeführt.

Hängende KI-Trainingsjobs auf Amazon SageMaker HyperPod können jetzt auf Slurm-Clustern erkannt und optional abgebrochen werden, damit sie erneut in die Warteschlange gestellt werden. AWS hat außerdem eine Trainingsvalidierungsprüfung und einen Kubernetes-Überwachungsagenten für HyperPod-Cluster eingeführt, die von Amazon Elastic Kubernetes Service (EKS) orchestriert werden, wie aus einem Unternehmensbeitrag hervorgeht.
Der bestehende Gesundheitsüberwachungsagent überwacht einzelne Knoten auf GPU-, Netzwerk- und Kernel-Fehler, während gründliche Gesundheitsprüfungen Hardware und Konnektivität testen. AWS zufolge stellen diese Prüfungen nicht fest, ob GPUs während des Trainings korrekt rechnen, ob ein Job Fortschritte macht oder ob Kubernetes-Komponenten intakt sind.
Training über Instanzen hinweg testen
Die neue Prüfung MultiNodeTrainingValidation führt zunächst auf jeder Instanz und anschließend über Instanzen desselben Typs hinweg einen festgelegten Trainings-Workload aus. Sie ist für EKS-Cluster mit unterstützten NVIDIA-GPU-Instanzen und einem Netzwerk mit Elastic Fabric Adapter (EFA) verfügbar. Der Test wird ausgeführt, wenn konfigurierte Instanzen erstellt oder aktualisiert werden, oder auf Anforderung.
Die Prüfung führt auf allen GPUs jeder Instanz einen kurzen Megatron-LM-Workload aus, gefolgt von einem Test über Instanzen hinweg mit EFA. Instanzen gelten als fehlerhaft, wenn der Trainingsverlust NaN oder unendlich wird oder das Training nicht innerhalb des Zeitlimits abgeschlossen wird. In der AWS-Dokumentation wird außerdem ein über einen Schwellenwert hinausgehender Anstieg des Verlusts im Verhältnis zu seinem anfänglichen Durchschnitt als Fehlerbedingung aufgeführt.
Fehlerhafte Instanzen werden gekennzeichnet und, wenn die automatische Knotenwiederherstellung aktiviert ist, neu gestartet oder ersetzt. Laut Dokumentation verlängert die Prüfung die Laufzeit der gründlichen Gesundheitsprüfung.
Die Kubernetes-Ebene überwachen
Ein separater Kubernetes Resource Monitoring Agent überwacht EKS-Cluster auf Probleme wie wiederholt abstürzende Geräte-Plugins, fehlende DaemonSets und mit Taints versehene Knoten. Wenn ein Job fehlschlägt, meldet er die beteiligten Pods und Knoten über Kubernetes-Ereignisse und Protokolle von Amazon CloudWatch.
Er überwacht außerdem Änderungen des Knotenzustands und meldet den NCCL-Kommunikationsstatus für Jobs, für die diese Funktion aktiviert ist. NCCL ist die NVIDIA-Kommunikationsbibliothek, die bei den im AWS-Beitrag beschriebenen GPU-Konnektivitätstests verwendet wird.
Hängende Jobs erkennen
Für Slurm-Cluster führt der neue Erkennungsmechanismus für hängende Jobs auf jedem Knoten einen Agenten aus und überwacht die Job-Ausgabe und GPU-Aktivität oder benutzerdefinierte Protokollmuster. Die Erkennung ist standardmäßig deaktiviert und muss für jeden Job mithilfe einer Regeldatei und einer Umgebungsvariable aktiviert werden. Bei bestehenden Clustern muss die Software auf die neueste AMI aktualisiert werden, bevor die Funktion verfügbar ist.
Bei der standardmäßigen Erkennung sucht der Agent nach Ausgaben, die ausbleiben, während die GPUs inaktiv sind, aber weiterhin Speicher belegen, oder nach einer längeren Ausgabepause unabhängig vom GPU-Zustand. Benutzerdefinierte Regeln für Protokollmuster ersetzen diese standardmäßige Erkennung. Die standardmäßige Erkennung kann laut AWS-Dokumentation keinen Job erfassen, der seine GPUs weiterhin auslastet, ohne Fortschritte zu machen, etwa weil er in einer Schleife festhängt.
Die Standardaktion protokolliert ein Ereignis; zusätzlich kann eine Abbruchaktion konfiguriert werden, wobei Slurm abgebrochene Jobs standardmäßig erneut in die Warteschlange stellt. Für EKS-Jobs, die über den HyperPod Training Operator ausgeführt werden, gibt es die Erkennung hängender Jobs bereits; Ray-Train-Jobs erhalten sie standardmäßig.
Eine Kostenveranschaulichung
In einem beispielhaften AWS-Szenario verwendet ein Pretraining-Job 32 ml.p5.48xlarge-Instanzen mit 256 NVIDIA H100-GPUs und bleibt von 1:00 Uhr bis 9:00 Uhr hängen. AWS schätzt, dass dieser Stillstand bei einem HyperPod-On-Demand-Preis von etwa 66 US-Dollar pro Instanzstunde in US East (N. Virginia) etwa 16.900 US-Dollar kosten würde.
Mit einer Erkennungsregel von 15 Minuten, die den hängenden Job abbricht, damit Slurm ihn erneut in die Warteschlange stellt, sinken die geschätzten Kosten auf etwa 530 US-Dollar; die Einsparung beträgt rund 16.400 US-Dollar. Die Zahlen beschreiben das Beispiel des Unternehmens und kein gemessenes Kundenergebnis.
Quellen
- Originalquelle · Blogbeitrag Amazon Web Services · Introducing workload recovery and expanded infrastructure c… aws.amazon.com
Weitere gelesene Seiten
- Amazon Web Services · Sagemaker hyperpod resiliency slurm hang detection docs.aws.amazon.com
- Amazon Web Services · Sagemaker hyperpod eks resiliency deep health checks docs.aws.amazon.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- AWS ergänzt SageMaker JumpStart um eine Modell-Rangliste
- Exa zufolge steigerten Optimierungen für AWS-Chips den Embedding-Durchsatz um etwa 50 %
- AWS-Kunden können PolyAIs Sprachdialogmodell jetzt über SageMaker JumpStart bereitstellen
- Aikido weitet KI-Penetrationstests auf iOS-Apps aus
- Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs