Ir para o conteúdo
AI.info

The Pulse

Clientes da AWS já podem implantar o modelo de diálogo por voz da PolyAI pelo SageMaker JumpStart

Clientes da AWS podem implantar o modelo de diálogo por voz da PolyAI como endpoint do SageMaker por meio do JumpStart. O modelo aceita áudio de chamadas ao vivo, enquanto os clientes continuam responsáveis pela integração com a telefonia e pela lógica de negócios.

Clientes da AWS já podem implantar o modelo de diálogo por voz da PolyAI pelo SageMaker JumpStart

Clientes da AWS agora podem implantar o modelo de voz Dialog-RSN-1, da PolyAI, a partir do catálogo Amazon SageMaker JumpStart como endpoint em suas próprias contas. O modelo processa áudio de chamadas ao vivo e gera respostas para agentes de conversas com clientes, segundo uma publicação da AWS divulgada em 19 de novembro.

A listagem no JumpStart vem depois de uma rota anterior de implantação no SageMaker: em 6 de outubro, a PolyAI informou que os clientes poderiam assinar pelo AWS Marketplace e implantar o modelo como endpoint do SageMaker. A nova entrada no catálogo oferece opções de implantação e avaliação no SageMaker AI.

Implantação e integração

Os clientes podem assinar pelo AWS Marketplace ou implantar o modelo a partir do catálogo JumpStart no SageMaker. No console do SageMaker AI, selecionam o modelo no hub e escolhem Implantar; o endpoint de inferência em tempo real resultante usa uma stack de serving pré-configurada.

O endpoint é executado na conta e na nuvem privada virtual da AWS do cliente, com acesso por meio de funções do AWS Identity and Access Management e monitoramento pelo Amazon CloudWatch. Os clientes também podem usar o SDK Python do SageMaker para fluxos de trabalho de implantação automatizados.

O endpoint usa o protocolo OpenAI Realtime, e um cliente Realtime existente pode se conectar pela ponte da PolyAI alterando sua URL base. O áudio de entrada deve ser PCM mono de 16 bits a 16 ou 24 kHz; áudio G.711 ou Opus precisa ser transcodificado antes. As conexões podem durar até 30 minutos, e o modelo atualmente oferece suporte apenas ao inglês.

O cliente continua responsável pela orquestração, pela integração com a telefonia e pela lógica de negócios. O endpoint é cobrado na conta AWS do cliente.

Opções de teste e serving

O catálogo inclui uma visão geral e notebooks de exemplo. Depois de implantar um endpoint, o cliente pode usar o notebook de exemplo da PolyAI para transmitir áudio gravado de chamadas e exibir as decisões de turno, as respostas e as transcrições do modelo.

O JumpStart oferece um conjunto de perfis de otimização para a stack de serving. O perfil otimizado para latência busca reduzir o tempo até o primeiro token em chamadas interativas, enquanto o perfil otimizado para throughput busca aumentar o número de tokens por segundo para volumes maiores de chamadas. Também há perfis otimizados para custo e equilibrados.

Antes da implantação, o JumpStart exibe métricas como latência P50, tempo até o primeiro token e throughput. A rota do SDK também pode ser usada para incorporar implantações a fluxos de trabalho de integração e entrega contínuas.

Como o modelo processa chamadas

O Dialog-RSN-1 recebe diretamente o áudio de quem liga e combina alternância de turnos, reconhecimento de fala, chamadas de função e geração de respostas em um único modelo. A PolyAI afirma que ele pode usar informações como tom e tempo ao decidir como e quando responder.

O modelo não usa uma etapa separada de conversão de fala em texto antes de raciocinar sobre o áudio de quem liga. A PolyAI afirma que o modelo considera o áudio na entrada e deixa a geração de fala a cargo de um sistema separado de conversão de texto em fala.

A PolyAI apresentou o Dialog-RSN-1 em 30 de julho e afirma que ele já processa chamadas ao vivo em produção. A empresa diz que o modelo foi desenvolvido com treinamento adicional de modelos multimodais de pesos abertos, usando conjuntos de dados internos que incluem conversas baseadas em implantações reais e conversas sintéticas.

Fontes

  1. Fonte original · Post de blog Amazon Web Services aws.amazon.com

Outras páginas lidas

  1. PolyAI · Dialog rsn aws sagemaker poly.ai
  2. PolyAI · PolyAI dialog rsn poly.ai

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos