The Pulse
AWS enruta la inferencia de HyperPod entre clústeres mediante un único endpoint
Amazon SageMaker HyperPod cuenta con una puerta de enlace global que enruta solicitudes de inferencia entre clústeres registrados en una o varias Regiones de AWS. La puerta de enlace selecciona clústeres saludables mediante ponderaciones configurables y desvía automáticamente el tráfico de los clústeres que fallan.

Una nueva puerta de enlace de Amazon SageMaker HyperPod enruta solicitudes de inferencia de IA entre clústeres registrados mediante un único endpoint, incluidos los clústeres en distintas Regiones de AWS. La Global Inference Gateway selecciona un clúster saludable para cada solicitud y desvía automáticamente el tráfico de un clúster que falla, según informó Amazon Web Services en una publicación técnica del 20 de noviembre.
El servicio añade una capa por encima de la Inference Gateway existente para cada clúster de HyperPod, que sigue eligiendo el pod del modelo dentro del clúster seleccionado. AWS opera la flota de enrutamiento global y las conexiones privadas a los clústeres, mientras que los clientes eligen qué clústeres publicar y agrupar detrás de una puerta de enlace.
De los endpoints de clúster a una puerta de enlace única
En un ejemplo de la publicación de AWS, un equipo que ofreciera cuatro modelos en cinco clústeres de HyperPod en dos Regiones tendría que hacer un seguimiento de 20 endpoints, uno por cada modelo en cada clúster. La Inference Gateway existente reduce esa cifra a cinco endpoints, pero deja que los clientes elijan el clúster; la puerta de enlace global ofrece un endpoint para todos los clústeres registrados.
Para cada solicitud, la nueva puerta de enlace asigna una puntuación a los clústeres saludables en función de la memoria disponible de caché clave-valor y de GPU, la profundidad de la cola, la proximidad regional y los errores recientes. Un publicador de métricas en cada clúster proporciona las señales de carga.
Las ponderaciones predeterminadas son 0,20 para el margen disponible de caché y memoria de GPU, 0,25 para la profundidad de la cola, 0,40 para la proximidad regional y 0,15 para la tasa de errores. Cada ponderación personalizada puede variar entre 0,0 y 1,0; los clientes que especifiquen ponderaciones deben establecer las cuatro, y los valores deben sumar 1,0. Una ponderación de cero desactiva esa señal.
En las pruebas beta, Bagelcode utilizó un único endpoint para enrutar solicitudes entre dos Regiones de AWS, dijo Jinhyung Park, vicepresidente de la plataforma de IA de la empresa. Park dijo que la puerta de enlace «siguió atendiéndolas cuando un clúster ya no pudo atender el modelo».
Publicación y conexión de clústeres
Para hacer que un clúster sea accesible, el cliente habilita el enrutamiento global en su InferenceGatewayConfig existente. El controlador de inferencia de HyperPod publica entonces el clúster de forma privada desde la cuenta del cliente. Los clientes crean la puerta de enlace global llamando a CreateGlobalInferenceGateway con los clústeres que quieren que utilice.
Cuando se publica un clúster, el controlador crea un Network Load Balancer delante de su Inference Gateway, publica un servicio de endpoint de nube privada virtual y carga el certificado de escucha en el bucket TLS del cliente. Una llamada para crear una puerta de enlace falla si incluye un clúster que no se ha publicado.
Los clientes envían solicitudes compatibles con OpenAI, firmadas con AWS Signature Version 4, conocida como SigV4, al endpoint regional de la puerta de enlace. Tras la autenticación y la selección del clúster, AWS PrivateLink lleva la solicitud al clúster, donde la puerta de enlace existente la enruta a un pod del modelo.
Acceso y operaciones
El servicio comprueba las firmas SigV4, los permisos de AWS Identity and Access Management y los límites de tasa antes de que las solicitudes lleguen a un clúster. Quienes realizan las llamadas necesitan permiso para invocar la puerta de enlace, y las respuestas en streaming requieren una acción de permiso aparte.
La puerta de enlace no registra ni almacena prompts ni respuestas generadas. Los clientes pueden cambiar las ponderaciones de enrutamiento después de crearla, añadir un clúster preparado o desvincular uno; cuando se añade un clúster, la puerta de enlace lo valida y empieza a enrutar solicitudes hacia él cuando está saludable.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- Salesforce utiliza el enrutamiento de SageMaker para trasladar solicitudes de modelos entre regiones
- Los clientes de AWS ya pueden desplegar el modelo de diálogo por voz de PolyAI a través de SageMaker JumpStart
- AWS añade recuperación de trabajos atascados y comprobaciones a SageMaker HyperPod
- AWS permite que los agentes de IA carguen compras de Marketplace a cuentas de la nube
- AWS añade una tabla de clasificación de modelos a SageMaker JumpStart