Ir para o conteúdo
AI.info

The Pulse

Salesforce usa o roteamento do SageMaker para transferir solicitações de modelos entre regiões

A Salesforce integrou o roteador de inferência entre regiões do Amazon SageMaker AI ao seu gateway interno de serving de modelos. O roteador pode direcionar solicitações a outros endpoints implantados quando os destinos locais apresentam erros, enquanto as solicitações com requisitos de residência de dados permanecem na região.

Salesforce usa o roteamento do SageMaker para transferir solicitações de modelos entre regiões

A Salesforce está usando o Amazon SageMaker AI para direcionar solicitações de modelos entre endpoints implantados em diferentes regiões, substituindo a lógica de failover de seu gateway interno. Uma publicação da Amazon Web Services, publicada em 18 de novembro, descreve como o sistema redireciona o tráfego quando os destinos locais apresentam erros, mantendo na região designada as solicitações com requisitos de residência de dados.

A equipe Agentforce Foundation atende modelos para produtos como Agentforce e Salesforce Trust Layer em mais de 30 regiões globais, segundo a AWS. Os modelos incluem tanto os treinados internamente quanto os de código aberto.

Do failover personalizado a um roteador

A Salesforce provisiona capacidade para o tráfego de clientes em centenas de contas da AWS. Segundo a AWS, picos simultâneos de demanda dos clientes e expansões com pouco aviso podem deixar algumas regiões com instâncias ociosas enquanto outras ficam sem capacidade suficiente.

Antes da mudança, o gateway interno da empresa redirecionava o tráfego que os endpoints locais não conseguiam atender, usando verificações de integridade, novas tentativas e lógica de troca de região. Segundo a AWS, o gateway anterior não tinha sinais de capacidade dos endpoints locais e remotos e, por isso, não conseguia determinar quando redirecionar o tráfego nem se havia espaço no destino.

A rota anterior também enviava o tráfego entre regiões para fora da nuvem privada virtual, por meio de gateways de rede e da rede pública da AWS. Em revisões de projeto, a equipe levantou o risco de que transferir tráfego durante um incidente pudesse sobrecarregar outra região.

Como as solicitações são direcionadas

O roteador de inferência do SageMaker AI oferece a uma aplicação um único caminho de invocação para endpoints em diferentes regiões e contas. Um destino de roteamento identifica os endpoints e componentes de inferência que podem atender um modelo específico; um endpoint em outra conta precisa conceder ao roteador nomeado permissão para invocá-lo.

O roteador prioriza um destino na própria região enquanto ele atende solicitações com sucesso. Falhas da plataforma, erros 5xx de contêineres de modelo, limitação de taxa e timeouts reduzem a saúde de um destino; erros persistentes fazem o roteador enviar uma parcela crescente de novas solicitações para destinos saudáveis. Quando um destino falha ao atender uma solicitação sem executar o modelo, como quando limita a taxa da solicitação, o roteador tenta atendê-la novamente uma vez em outro destino.

Segundo a AWS, o roteador normalmente começa a redirecionar o tráfego em até cerca de um minuto quando há erros persistentes. Para destinos com pouco tráfego, o redirecionamento pode levar vários minutos; depois da recuperação, o tráfego retorna ao longo de vários minutos, mais lentamente do que foi transferido. Entradas inválidas e latência do modelo não provocam um redirecionamento.

O roteador usa a capacidade já implantada nos endpoints. Segundo a AWS, ele não implanta modelos, copia artefatos nem adiciona instâncias; o escalonamento automático de cada endpoint adiciona instâncias à medida que o tráfego cresce.

Residência e visibilidade

A Salesforce posicionou a chamada ao roteador em seu gateway, depois da verificação de residência de dados e antes do tratamento da resposta. As solicitações marcadas com um requisito de residência de dados usam um destino de roteamento dentro da região cuja única opção é o endpoint local. As demais solicitações são enviadas ao roteador com o mesmo corpo, tipo de conteúdo e tipo de aceitação que o gateway enviava antes.

A Salesforce registra o recurso que atendeu cada solicitação e o motivo do roteamento junto com os identificadores da solicitação e do trace, e adiciona esses campos como tags de monitoramento de desempenho da aplicação. A equipe combina essas informações com as métricas do roteador ao investigar uma mudança no tráfego.

Em um teste de configuração, a Salesforce criou um roteador em US West (Oregon) e confirmou que as solicitações chegaram a um destino local. Em seguida, a equipe registrou um endpoint em US East (Ohio), pertencente a outra conta, removeu o destino local e confirmou que as solicitações chegaram ao endpoint remoto, atravessando a fronteira entre contas e regiões.

Fontes

  1. Fonte original · Post de blog Amazon Web Services aws.amazon.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos