Ir para o conteúdo
AI.info

The Pulse

Exa diz que otimizações para chips da AWS elevaram em cerca de 50% a taxa de processamento de embeddings

A Exa relata uma taxa de processamento de embeddings cerca de 1,5 vez maior que a inicial após otimizar cargas de trabalho nos chips AWS Inferentia2. O trabalho ocorreu enquanto a empresa de buscas refazia os embeddings de 30 bilhões de documentos prioritários para um novo modelo.

Exa diz que otimizações para chips da AWS elevaram em cerca de 50% a taxa de processamento de embeddings

A Exa afirma ter aumentado a taxa de processamento de sua carga de trabalho de embeddings de documentos para cerca de 1,5 vez o nível inicial ao otimizá-la para os chips AWS Inferentia2. Em uma publicação de 18 de novembro no blog de machine learning da AWS, a empresa de buscas também relatou uma melhora de 47% no desempenho e no custo por 1 milhão de documentos incorporados, em comparação com a linha de base inicial.

Fonte aws.amazon.com

O trabalho ocorreu enquanto a Exa selecionava 30 bilhões de documentos prioritários para refazer seus embeddings com um novo modelo de documentos. A execução simultânea dos pipelines de embeddings em operação e do novo pipeline dobrou a carga de inferência durante essa migração.

Por que a capacidade de embeddings é importante

A Exa cria um índice com dados da web, além de fontes privadas e sintéticas. A empresa usa modelos de machine learning para posicionar documentos da web e consultas no mesmo espaço vetorial, possibilitando buscas em linguagem natural além da busca por palavras-chave.

Os documentos que passam pelo limite de qualidade da empresa percorrem um pipeline assíncrono antes de poderem ser disponibilizados em seu banco de dados vetorial próprio. O pipeline rastreia, analisa, modera e filtra os dados antes de gerar embeddings.

Os números divulgados para o Inferentia2 se referem a uma instância inf2.xlarge com um chip e dois NeuronCores. A carga de trabalho é executada em um único NeuronCore, com os pods do Kubernetes agrupados de forma concentrada em instâncias maiores; o mesmo processo também é executado em um NeuronCore Trainium2 e escala por meio do paralelismo de dados.

Alterações na carga de trabalho

O ponto de partida foi uma versão do modelo em FP16 com paralelismo de dados. Em seguida, a Exa alterou a disposição dos pesos do modelo para evitar transposições desnecessárias e habilitou o autocast, permitindo que o compilador usasse menor precisão na multiplicação de matrizes sem comprometer a faixa dinâmica.

Segundo a publicação, as saídas de menor precisão atenderam ao limite de correção da empresa: similaridade de cosseno de 0,999 em relação à referência. Um kernel de atenção pré-construído da biblioteca Neuron Kernel Interface proporcionou outro ganho de desempenho.

A criação de perfis mostrou que os dados eram repetidamente transferidos para a memória de alta largura de banda e carregados de volta, deixando o Tensor Engine subutilizado durante a passagem forward. A equipe escreveu um kernel MLP SwiGLU personalizado e fundido, que, segundo a empresa, eliminou essas esperas causadas pela memória.

A Exa também reescreveu o kernel de atenção com base nas dimensões de seu modelo para reduzir o processamento gasto com preenchimento. A empresa combinou operações de atenção em multiplicações de matrizes únicas nos casos em que o kernel genérico usava várias etapas de instrução, reduzindo as operações do loop interno e as idas e vindas à memória.

Agentes e escalonamento de computação

Agentes desenvolveram as otimizações usando um sistema para verificar a correção, medir o desempenho e criar perfis da carga de trabalho. Cada agente executa um workflow com o Flyte, que compila um executável Neuron e verifica uma passagem forward em comparação com um conjunto de dados de referência, exigindo similaridade de cosseno de 0,999 em relação ao modelo canônico.

O workflow também cria o perfil de uma passagem forward e executa um benchmark de saturação de 30 minutos no hardware. Modelos mais leves pesquisam parâmetros do compilador, agentes de raciocínio testam hipóteses e encontram gargalos, e agentes de geração de código escrevem kernels personalizados.

A empresa otimizou o Inferentia2 na Região US West (Oregon), enquanto estendia o trabalho ao Trainium2. A Exa agenda a computação em várias Regiões a partir de um único plano de controle do Kubernetes, compara o desempenho por dólar entre tipos de instância e posiciona pods nos nós mais baratos à medida que a demanda por embeddings muda.

Fontes

  1. Fonte original · Post de blog Amazon Web Services aws.amazon.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos