The Pulse
Salesforce utiliza el enrutamiento de SageMaker para trasladar solicitudes de modelos entre regiones
Salesforce ha integrado el enrutador de inferencia entre regiones de Amazon SageMaker AI en su puerta de enlace interna de servicio de modelos. El enrutador puede trasladar solicitudes a otros endpoints desplegados cuando los destinos locales presentan errores, mientras que las solicitudes con requisitos de residencia de datos permanecen en la región correspondiente.

Salesforce utiliza Amazon SageMaker AI para enrutar solicitudes de modelos entre endpoints desplegados en distintas regiones, en sustitución de la lógica de conmutación por error de su puerta de enlace interna. Una publicación de Amazon Web Services del 18 de noviembre describe cómo el sistema desvía el tráfico cuando los destinos locales presentan errores, al tiempo que mantiene en la región designada las solicitudes con requisitos de residencia de datos.
El equipo de Agentforce Foundation sirve modelos para productos como Agentforce y Salesforce Trust Layer en más de 30 regiones de todo el mundo, según AWS. Los modelos incluyen tanto los entrenados internamente como los de código abierto.
De la conmutación por error personalizada a un enrutador
Salesforce asigna capacidad para el tráfico de clientes en cientos de cuentas de AWS. Según AWS, los picos simultáneos de actividad de los clientes y las ampliaciones con poco preaviso pueden dejar instancias inactivas en algunas regiones mientras otras se quedan sin capacidad.
Antes del cambio, la puerta de enlace interna de la empresa redirigía el tráfico que los endpoints locales no podían gestionar mediante comprobaciones de estado, reintentos y lógica para cambiar de región. Según AWS, la puerta de enlace anterior carecía de señales de capacidad de los endpoints locales y remotos, por lo que no podía determinar cuándo desviar el tráfico ni si un destino tenía capacidad disponible.
La ruta anterior también sacaba el tráfico entre regiones de la nube privada virtual a través de puertas de enlace de red y lo enviaba por la red pública de AWS. En las revisiones de diseño, el equipo planteó el riesgo de que el traslado de tráfico durante un incidente pudiera sobrecargar otra región.
Cómo se desplazan las solicitudes
El enrutador de inferencia de SageMaker AI ofrece a una aplicación una única vía de invocación para acceder a endpoints en distintas regiones y cuentas. Un destino de enrutamiento identifica los endpoints y los componentes de inferencia que pueden servir un modelo determinado; un endpoint de otra cuenta debe conceder permiso de invocación al enrutador especificado.
El enrutador da prioridad a un destino de su propia región mientras este atienda correctamente las solicitudes. Los fallos de la plataforma, los errores 5xx del contenedor del modelo, la limitación de solicitudes y los tiempos de espera reducen el estado de salud de un destino; los errores persistentes hacen que el enrutador envíe una proporción creciente de las nuevas solicitudes a destinos en buen estado. Cuando un destino no logra atender una solicitud sin ejecutar el modelo, por ejemplo, al limitarla, el enrutador la reintenta una vez en otro lugar.
Según AWS, el enrutador suele empezar a desviar tráfico aproximadamente un minuto después de que se produzcan errores persistentes. En los destinos con poco tráfico, el desvío puede tardar varios minutos; tras la recuperación, el tráfico vuelve a lo largo de varios minutos, más lentamente de lo que se desvió. Las entradas no válidas y la latencia del modelo no provocan un desvío.
El enrutador utiliza la capacidad ya desplegada en los endpoints. Según AWS, no despliega modelos, copia artefactos ni añade instancias; el escalado automático de cada endpoint añade instancias a medida que aumenta el tráfico.
Residencia y visibilidad
Salesforce ubicó la llamada al enrutador en su puerta de enlace, después de la comprobación de residencia de datos y antes de gestionar la respuesta. Las solicitudes etiquetadas con un requisito de residencia de datos utilizan un destino de enrutamiento en la región cuya única opción es el endpoint local. Las demás solicitudes se envían al enrutador con el mismo cuerpo, tipo de contenido y tipo de aceptación que enviaba antes la puerta de enlace.
Salesforce registra el recurso que atendió cada solicitud y el motivo del enrutamiento, junto con los identificadores de solicitud y de seguimiento, y añade esos campos como etiquetas de supervisión del rendimiento de aplicaciones. El equipo los combina con métricas del enrutador cuando investiga un desvío de tráfico.
En una prueba de configuración, Salesforce creó un enrutador en US West (Oregon) y confirmó que las solicitudes llegaban a un destino local. A continuación, el equipo registró un endpoint en US East (Ohio) perteneciente a otra cuenta, eliminó el destino local y confirmó que las solicitudes llegaban al endpoint remoto a través de los límites entre cuentas y regiones.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- Los clientes de AWS ya pueden desplegar el modelo de diálogo por voz de PolyAI a través de SageMaker JumpStart
- 35Gates ofrece entornos de IA dedicados en la nube desde 64.000 yenes al mes, antes de impuestos
- Aikido encuentra secretos accesibles en 13 de 50 incidentes de seguridad relacionados con la IA
- Cegedim inaugura en Francia un centro de datos para IA y computación de alta densidad
- Investigador afirma que fallos de CreditNirvana dejaron al descubierto 6,6 millones de cuentas