Aller au contenu
AI.info

The Pulse

Salesforce utilise le routage de SageMaker pour transférer les requêtes de modèles entre régions

Salesforce a intégré le routeur d’inférence interrégionale d’Amazon SageMaker AI à sa passerelle interne de service des modèles. Le routeur peut transférer les requêtes vers d’autres points de terminaison déployés lorsque les destinations locales rencontrent des erreurs, tandis que les requêtes soumises à des exigences de résidence des données restent dans leur région.

Salesforce utilise le routage de SageMaker pour transférer les requêtes de modèles entre régions

Salesforce utilise Amazon SageMaker AI pour router les requêtes de modèles entre des points de terminaison déployés dans différentes régions, en remplacement de la logique de basculement de sa passerelle interne. Un article d’Amazon Web Services publié le 18 novembre décrit comment le système déplace le trafic lorsque les destinations locales rencontrent des erreurs, tout en maintenant les requêtes soumises à des exigences de résidence des données dans la région qui leur est attribuée.

L’équipe Agentforce Foundation fournit des modèles pour des produits comme Agentforce et Salesforce Trust Layer dans plus de 30 régions du monde, selon AWS. Ces modèles comprennent à la fois des modèles entraînés en interne et des modèles open source.

De la logique de basculement personnalisée à un routeur

Salesforce provisionne de la capacité pour le trafic client sur des centaines de comptes AWS. Selon AWS, les pics de demande simultanés des clients et les augmentations de capacité décidées à court préavis peuvent laisser certaines régions avec des instances inactives, tandis que d’autres manquent de capacité.

Avant ce changement, la passerelle interne de l’entreprise redirigeait le trafic que les points de terminaison locaux ne pouvaient pas traiter, en s’appuyant sur des vérifications de santé, des tentatives répétées et une logique de changement de région. AWS indique que l’ancienne passerelle ne disposait pas d’indicateurs de capacité pour les points de terminaison locaux et distants : elle ne pouvait donc pas déterminer quand déplacer le trafic ni si une destination disposait de la capacité nécessaire.

L’ancien routage envoyait également le trafic interrégional hors du cloud privé virtuel, par des passerelles réseau et via le réseau public d’AWS. Lors des revues de conception, l’équipe a soulevé le risque qu’un déplacement du trafic pendant un incident surcharge une autre région.

Comment les requêtes sont acheminées

Le routeur d’inférence de SageMaker AI fournit à une application un chemin d’invocation unique vers des points de terminaison répartis entre plusieurs régions et comptes. Une cible de routage identifie les points de terminaison et les composants d’inférence capables de traiter les requêtes pour un modèle donné ; un point de terminaison situé dans un autre compte doit accorder au routeur désigné l’autorisation de l’invoquer.

Le routeur privilégie une destination située dans sa propre région tant que celle-ci traite les requêtes correctement. Les pannes de la plateforme, les erreurs 5xx des conteneurs de modèles, la limitation du débit et les délais d’attente dégradent l’état de santé d’une destination ; des erreurs persistantes amènent le routeur à envoyer une part croissante des nouvelles requêtes vers des destinations en bon état. Lorsqu’une destination échoue à traiter une requête sans exécuter le modèle, par exemple si elle limite le débit de la requête, le routeur la réessaie une fois ailleurs.

AWS indique que le routeur commence généralement à déplacer le trafic dans la minute environ qui suit l’apparition d’erreurs persistantes. Pour les destinations recevant peu de trafic, le transfert peut prendre plusieurs minutes ; après rétablissement, le trafic revient sur plusieurs minutes, plus lentement qu’il n’a été déplacé. Les entrées invalides et la latence du modèle ne déclenchent pas de transfert.

Le routeur utilise la capacité déjà déployée sur les points de terminaison. AWS précise qu’il ne déploie pas de modèles, ne copie pas d’artefacts et n’ajoute pas d’instances ; la mise à l’échelle automatique propre à chaque point de terminaison ajoute des instances à mesure que le trafic augmente.

Résidence des données et visibilité

Salesforce a placé l’appel au routeur dans sa passerelle, après la vérification de la résidence des données et avant le traitement de la réponse. Les requêtes assorties d’une exigence de résidence des données utilisent une cible de routage dans la région, dont le seul point de terminaison est le point de terminaison local. Les autres requêtes sont envoyées au routeur avec le même corps, le même type de contenu et le même type d’acceptation que ceux transmis auparavant par la passerelle.

Salesforce consigne la ressource qui a traité chaque requête ainsi que le motif de routage, avec les identifiants de requête et de trace, et ajoute ces champs comme balises de surveillance des performances des applications. Lorsqu’elle enquête sur un déplacement du trafic, l’équipe les associe aux métriques du routeur.

Lors d’un test de configuration, Salesforce a créé un routeur dans US West (Oregon) et confirmé que les requêtes atteignaient une destination locale. L’équipe a ensuite enregistré un point de terminaison dans US East (Ohio), détenu par un autre compte, supprimé la destination locale et confirmé que les requêtes atteignaient le point de terminaison distant en franchissant la frontière entre comptes et régions.

Sources

  1. Source originale · Billet de blog Amazon Web Services aws.amazon.com

Entreprises citées

Articles liés

Explorer

Autres articles