The Pulse
AWS roteia a inferência do HyperPod entre clusters por meio de um único endpoint
O Amazon SageMaker HyperPod tem um gateway global para rotear solicitações de inferência entre clusters registrados em uma ou mais regiões da AWS. O gateway seleciona clusters saudáveis usando pesos configuráveis e move automaticamente o tráfego para longe de clusters com falha.

Um novo gateway do Amazon SageMaker HyperPod roteia solicitações de inferência de IA entre clusters registrados por meio de um único endpoint, inclusive clusters em diferentes regiões da AWS. O Global Inference Gateway seleciona um cluster saudável para cada solicitação e move automaticamente o tráfego para longe de um cluster com falha, informou a Amazon Web Services em uma publicação técnica divulgada em 20 de novembro.
O serviço acrescenta uma camada acima do Inference Gateway existente do HyperPod, que opera por cluster e continua escolhendo o pod do modelo dentro do cluster selecionado. A AWS opera a infraestrutura global de roteamento e as conexões privadas com os clusters, enquanto os clientes escolhem quais clusters publicar e agrupar por trás de um gateway.
De endpoints de cluster a um único gateway
Em um exemplo da publicação da AWS, uma equipe que atende a quatro modelos em cinco clusters do HyperPod em duas regiões teria de acompanhar 20 endpoints, um para cada modelo em cada cluster. O Inference Gateway existente reduz esse número para cinco endpoints, mas deixa a escolha do cluster a cargo dos clientes; o gateway global oferece um único endpoint para os clusters registrados.
Para cada solicitação, o novo gateway pontua os clusters saudáveis com base na disponibilidade de cache de chave-valor e de memória da GPU, na profundidade da fila, na proximidade regional e nos erros recentes. Um publicador de métricas em cada cluster fornece os sinais de carga.
Os pesos padrão são 0,20 para a margem disponível de cache e memória da GPU, 0,25 para a profundidade da fila, 0,40 para a proximidade regional e 0,15 para a taxa de erros. Cada peso personalizado pode variar de 0,0 a 1,0; os clientes que especificarem pesos precisam definir os quatro, e os valores devem somar 1,0. Um peso zero desativa esse sinal.
Em testes beta, a Bagelcode usou um único endpoint para rotear solicitações entre duas regiões da AWS, afirmou Jinhyung Park, vice-presidente de plataforma de IA da empresa. Park disse que o gateway “continuou atendendo às solicitações quando um cluster já não conseguia atender ao modelo”.
Publicação e conexão de clusters
Para tornar um cluster acessível, o cliente habilita o roteamento global em seu InferenceGatewayConfig existente. Em seguida, o controlador de inferência do HyperPod publica o cluster de forma privada na conta do cliente. Os clientes criam o gateway global chamando CreateGlobalInferenceGateway com os clusters que querem usar.
Quando um cluster é publicado, o controlador cria um Network Load Balancer à frente de seu Inference Gateway, publica um serviço de endpoint de nuvem privada virtual e carrega o certificado do listener no bucket TLS do cliente. Uma chamada de criação do gateway falha se listar um cluster que não foi publicado.
Os clientes enviam ao endpoint regional do gateway solicitações compatíveis com OpenAI, assinadas com AWS Signature Version 4, conhecido como SigV4. Após a autenticação e a seleção do cluster, o AWS PrivateLink leva a solicitação até o cluster, onde o gateway existente a encaminha para um pod do modelo.
Acesso e operações
O serviço verifica as assinaturas SigV4, as permissões do AWS Identity and Access Management e os limites de taxa antes que as solicitações cheguem a um cluster. Quem faz as chamadas precisa ter permissão para invocar o gateway, e as respostas em streaming têm uma ação de permissão separada.
O gateway não registra nem armazena prompts nem respostas geradas. Os clientes podem alterar os pesos de roteamento após a criação, adicionar um cluster preparado ou desanexar um; quando um cluster é adicionado, o gateway o valida e começa a rotear solicitações para ele assim que estiver saudável.
Fontes
- Fonte original · Post de blog Amazon Web Services aws.amazon.com
Empresas nesta notícia
Notícias relacionadas
- Salesforce usa o roteamento do SageMaker para transferir solicitações de modelos entre regiões
- Clientes da AWS já podem implantar o modelo de diálogo por voz da PolyAI pelo SageMaker JumpStart
- AWS adiciona recuperação de tarefas travadas e verificações ao SageMaker HyperPod
- AWS permite que agentes de IA lancem compras do Marketplace em contas na nuvem
- AWS adiciona ranking de modelos ao SageMaker JumpStart