The Pulse
AWS introduce il recupero dei job bloccati e nuovi controlli in SageMaker HyperPod
SageMaker HyperPod è in grado di rilevare i job di addestramento Slurm bloccati e, facoltativamente, annullarli per reinserirli nella coda. AWS ha inoltre introdotto un controllo di convalida dell’addestramento per EKS e un agente di monitoraggio per Kubernetes.

I job di addestramento dell’IA bloccati su Amazon SageMaker HyperPod possono ora essere rilevati e, facoltativamente, annullati per essere reinseriti nella coda nei cluster Slurm. AWS ha inoltre introdotto un controllo di convalida dell’addestramento e un agente di monitoraggio per Kubernetes per i cluster HyperPod orchestrati da Amazon Elastic Kubernetes Service (EKS), secondo un post dell’azienda.
L’agente esistente per il monitoraggio dello stato di salute controlla i singoli nodi per rilevare errori di GPU, rete e kernel, mentre i controlli approfonditi dello stato di salute verificano hardware e connettività. AWS afferma che questi controlli non accertano se le GPU eseguono correttamente i calcoli durante l’addestramento, se un job sta procedendo o se i componenti di Kubernetes funzionano correttamente.
Testare l’addestramento tra le istanze
Il nuovo controllo MultiNodeTrainingValidation esegue un carico di lavoro di addestramento fisso prima su ciascuna istanza e poi su più istanze dello stesso tipo. È disponibile per i cluster EKS che utilizzano istanze GPU NVIDIA supportate con rete Elastic Fabric Adapter (EFA). Il test viene eseguito quando le istanze configurate vengono create o aggiornate, oppure su richiesta.
Il controllo esegue un breve carico di lavoro Megatron-LM su tutte le GPU di ciascuna istanza, seguito da un test tra istanze che utilizza EFA. Le istanze non superano il test se la loss di addestramento diventa NaN o infinita, oppure se l’addestramento non termina entro il limite di tempo. La documentazione AWS indica inoltre come condizione di fallimento un aumento della loss oltre una soglia rispetto alla sua media iniziale.
Le istanze che non superano il test vengono contrassegnate e, se è attivato il ripristino automatico dei nodi, riavviate o sostituite. Secondo la documentazione, il controllo allunga l’esecuzione del controllo approfondito dello stato di salute.
Monitorare il livello Kubernetes
Un agente separato per il monitoraggio delle risorse Kubernetes controlla i cluster EKS per individuare problemi, tra cui plugin di dispositivo che si bloccano ripetutamente, DaemonSet mancanti e nodi con taint. Quando un job fallisce, segnala i pod e i nodi coinvolti tramite eventi Kubernetes e log di Amazon CloudWatch.
Monitora anche i cambiamenti delle condizioni dei nodi e segnala lo stato delle comunicazioni NCCL per i job che scelgono di attivare questa funzione. NCCL è la libreria di comunicazione NVIDIA utilizzata dai test di connettività delle GPU descritti nel post di AWS.
Rilevare i job bloccati
Per i cluster Slurm, il nuovo rilevatore di job bloccati esegue un agente su ciascun nodo e monitora l’output dei job e l’attività delle GPU, oppure i pattern dei log definiti dall’utente. Il rilevamento è disattivato per impostazione predefinita e deve essere abilitato per ciascun job tramite un file di regole e una variabile d’ambiente. Per rendere disponibile la funzione nei cluster esistenti, è necessario aggiornare il software all’AMI più recente.
Con il rilevamento predefinito, l’agente cerca output interrotto mentre le GPU sono inattive ma continuano a occupare memoria, oppure una pausa più lunga nell’output, indipendentemente dallo stato delle GPU. Le regole personalizzate sui pattern dei log sostituiscono il rilevamento predefinito. Secondo la documentazione AWS, il rilevamento predefinito non può individuare un job che continua a tenere occupate le GPU senza fare progressi, per esempio perché bloccato in un loop.
L’azione predefinita registra un evento; è possibile configurare anche un’azione di annullamento, e per impostazione predefinita Slurm reinserisce nella coda i job annullati. Il rilevamento dei job bloccati è già disponibile per i job EKS eseguiti tramite l’operatore di addestramento HyperPod, mentre i job Ray Train ne sono dotati per impostazione predefinita.
Un esempio di costo
In uno scenario illustrativo di AWS, un job di pre-addestramento utilizza 32 istanze ml.p5.48xlarge con 256 GPU NVIDIA H100 e si blocca dall’1:00 alle 9:00. AWS stima che il blocco costerebbe circa 16.900 dollari, calcolati al prezzo on-demand di HyperPod di circa 66 dollari per ora per istanza in US East (N. Virginia).
Con una regola di rilevamento di 15 minuti che annulla il job bloccato affinché Slurm lo reinserisca nella coda, il costo stimato scende a circa 530 dollari, con un risparmio di circa 16.400 dollari. Le cifre descrivono l’esempio dell’azienda e non un risultato misurato su un cliente.
Fonti
- Fonte originale · Post del blog Amazon Web Services · Introducing workload recovery and expanded infrastructure c… aws.amazon.com
Altre pagine lette
- Amazon Web Services · Sagemaker hyperpod resiliency slurm hang detection docs.aws.amazon.com
- Amazon Web Services · Sagemaker hyperpod eks resiliency deep health checks docs.aws.amazon.com
Aziende in questa notizia
Notizie correlate
- AWS descrive controlli per gli errori silenti delle GPU nell’addestramento dell’IA
- Pagamenti dell’accordo transattivo di Anthropic attesi nella settimana del 23 novembre
- Un sondaggio rileva che il 48% teme di essere giudicato per usare troppo poco l’IA
- MLPerf Training aggiunge test agentici e di raccomandazione nella v6.1
- AWS aggiunge una classifica dei modelli a SageMaker JumpStart