# AWS achemine l’inférence HyperPod entre clusters via un point de terminaison unique

Published 2026-11-21 · AI.info Team · AI.info

> Amazon SageMaker HyperPod dispose d’une passerelle globale qui achemine les requêtes d’inférence entre des clusters enregistrés dans une ou plusieurs régions AWS. La passerelle sélectionne les clusters en bon état en fonction de pondérations configurables et détourne automatiquement le trafic des clusters défaillants.

Une nouvelle passerelle Amazon SageMaker HyperPod achemine les requêtes d’inférence de l’IA entre des clusters enregistrés via un point de terminaison unique, y compris lorsque les clusters se trouvent dans différentes régions AWS. La Global Inference Gateway sélectionne un cluster en bon état pour chaque requête et détourne automatiquement le trafic d’un cluster défaillant, a indiqué [Amazon Web Services](https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/) dans un billet technique publié le 20 novembre.

Le service ajoute une couche au-dessus de l’Inference Gateway existante de chaque cluster HyperPod, qui continue de choisir le pod de modèle au sein du cluster sélectionné. AWS exploite la flotte de routage global et les connexions privées aux clusters, tandis que les clients choisissent les clusters à publier et à regrouper derrière une passerelle.

## Des points de terminaison par cluster à une seule passerelle

Dans un exemple présenté dans le billet d’AWS, une équipe qui met à disposition quatre modèles sur cinq clusters HyperPod répartis dans deux régions devrait sinon gérer 20 points de terminaison, un pour chaque modèle sur chaque cluster. L’Inference Gateway existante réduit ce nombre à cinq points de terminaison, mais laisse aux clients le soin de choisir un cluster ; la passerelle globale fournit un point de terminaison unique pour l’ensemble des clusters enregistrés.

Pour chaque requête, la nouvelle passerelle évalue les clusters en bon état en fonction du cache clé-valeur et de la mémoire GPU disponibles, de la profondeur de la file d’attente, de la proximité régionale et des erreurs récentes. Un éditeur de métriques sur chaque cluster fournit les indicateurs de charge correspondants.

Les pondérations par défaut sont de 0,20 pour la marge disponible dans le cache et la mémoire GPU, de 0,25 pour la profondeur de la file d’attente, de 0,40 pour la proximité régionale et de 0,15 pour le taux d’erreur. Chaque pondération personnalisée peut aller de 0,0 à 1,0 ; les clients qui définissent des pondérations doivent renseigner les quatre, et leur somme doit être égale à 1,0. Une pondération de zéro désactive l’indicateur correspondant.

Lors des tests bêta, Bagelcode a utilisé un point de terminaison unique pour acheminer les requêtes entre deux régions AWS, a déclaré Jinhyung Park, vice-président de la plateforme d’IA de l’entreprise. Park a indiqué que la passerelle « a continué à les traiter lorsqu’un cluster ne pouvait plus servir le modèle ».

## Publication et connexion des clusters

Pour rendre un cluster accessible, un client active le routage global dans son InferenceGatewayConfig existant. Le contrôleur HyperPod Inference publie alors le cluster en privé depuis le compte du client. Les clients créent la passerelle globale en appelant CreateGlobalInferenceGateway et en indiquant les clusters qu’ils veulent utiliser.

Lorsqu’un cluster est publié, le contrôleur crée un Network Load Balancer devant son Inference Gateway, publie un service de point de terminaison de cloud privé virtuel et téléverse le certificat d’écoute dans le compartiment TLS du client. Un appel de création de passerelle échoue s’il répertorie un cluster qui n’a pas été publié.

Les clients envoient à la passerelle régionale des requêtes compatibles avec OpenAI et signées avec AWS Signature Version 4, connue sous le nom de SigV4. Après l’authentification et la sélection du cluster, AWS PrivateLink achemine la requête vers le cluster, où la passerelle existante la dirige vers un pod de modèle.

## Accès et exploitation

Avant que les requêtes n’atteignent un cluster, le service vérifie les signatures SigV4, les autorisations AWS Identity and Access Management et les limites de débit. Les appelants doivent disposer de l’autorisation d’invoquer la passerelle, et les réponses en continu font l’objet d’une action d’autorisation distincte.

La passerelle ne consigne ni ne stocke les prompts ou les complétions. Les clients peuvent modifier les pondérations de routage après la création, ajouter un cluster préparé ou en détacher un ; lorsqu’un cluster est ajouté, la passerelle le valide et commence à y acheminer le trafic dès qu’il est en bon état.

## Sources

1. Source originale · Billet de blog [Amazon Web Services](https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/) aws.amazon.com

## Entreprises citées

- [Amazon](https://ai.info/fr/companies/amazon)
- [Amazon Web Services](https://ai.info/fr/companies/amazon-web-services)

## Articles liés

- [Salesforce utilise le routage de SageMaker pour transférer les requêtes de modèles entre régions](https://ai.info/fr/news/salesforce-sagemaker-cross-region-inference-routing)
- [Les clients d’AWS peuvent désormais déployer le modèle de dialogue vocal de PolyAI via SageMaker JumpStart](https://ai.info/fr/news/polyai-dialog-rsn-1-sagemaker-jumpstart)
- [AWS ajoute à SageMaker HyperPod la reprise des tâches bloquées et des contrôles](https://ai.info/fr/news/aws-sagemaker-hyperpod-workload-recovery-checks)
- [AWS permet aux agents d’IA d’imputer les achats Marketplace aux comptes cloud](https://ai.info/fr/news/aws-agentcore-marketplace-payments-billing)
- [AWS ajoute un classement des modèles à SageMaker JumpStart](https://ai.info/fr/news/aws-sagemaker-jumpstart-model-leaderboard)

## Explorer

[Autres articles](https://ai.info/fr/news)

---

Canonical: https://ai.info/fr/news/aws-hyperpod-global-inference-gateway
