Ir para o conteúdo
AI.info

The Pulse

AWS adiciona ranking de modelos ao SageMaker JumpStart

Uma nova visualização do SageMaker Studio compara pelo menos 70 modelos em pontuações de benchmarks, velocidade e custo estimado da instância. A AWS afirma que executa os testes de qualidade com uma configuração de avaliação comum, com ressalvas para as comparações entre modelos de raciocínio e modelos sem raciocínio.

AWS adiciona ranking de modelos ao SageMaker JumpStart

Usuários do SageMaker Studio agora podem comparar pelo menos 70 modelos em qualidade, velocidade e custo estimado da instância em um novo ranking, com modelos de provedores como Meta, Google, Qwen, IBM e Arcee. A Amazon Web Services afirma que executa os próprios testes de qualidade usando a mesma configuração de avaliação para todos os modelos.

O JumpStart Model Leaderboard é uma nova visualização na página de modelos-base do SageMaker JumpStart, ao lado das visualizações existentes Categories e All models. A página abre com classificações de grandes modelos de linguagem, sem exigir que os usuários respondam a perguntas de configuração.

O que as classificações medem

A visualização mantém a barra de pesquisa e os filtros existentes, incluindo filtros de licença, provedor e modalidade de entrada e saída. Os usuários podem ordenar as colunas dos benchmarks, ocultar as métricas de que não precisam e compartilhar um link direto para o ranking.

Um mapa de calor azul indica resultados relativos em cada coluna, com tons mais escuros indicando resultados melhores. Os nomes dos modelos continuam visíveis quando os usuários rolam horizontalmente pelas métricas disponíveis.

A AWS executa três benchmarks públicos de raciocínio: BIG-Bench Hard, GPQA Diamond e MMLU-Pro. O BIG-Bench Hard testa tarefas que exigem raciocínio em várias etapas, incluindo dedução lógica e aritmética; o GPQA Diamond consiste em questões de ciências de nível de pós-graduação; e o MMLU-Pro testa conhecimentos e raciocínio em áreas como ciência, direito e engenharia.

O ranking exibe cada benchmark separadamente, em vez de combinar os resultados em uma única pontuação. A AWS alerta que as pontuações de benchmarks diferentes não são diretamente comparáveis, porque os testes têm níveis de dificuldade distintos.

Velocidade, custo e escolhas de implantação

A AWS afirma que mede o desempenho e o custo enviando uma carga de trabalho padronizada a um endpoint implantado com cada configuração do JumpStart. As colunas de desempenho incluem o tempo até o primeiro token, a vazão por solicitação em tokens por segundo e o custo horário estimado da instância.

O custo estimado cobre apenas o custo da instância do SageMaker, com base na tarifa horária sob demanda do tipo de instância padrão da configuração. Ele exclui transferência de dados, armazenamento, custos de componentes de inferência e descontos como Reserved Instances ou AWS Savings Plans; as faturas reais podem variar.

Dois menus determinam quais valores de desempenho e custo são exibidos. O perfil de caso de uso, definido por padrão como Max Context, altera esses valores, mas não as pontuações de qualidade. A meta de otimização, definida por padrão como Balanced, seleciona uma configuração de implantação para o perfil escolhido.

A meta Balanced seleciona a configuração com o menor custo estimado por token. Cost optimized seleciona o menor preço horário da instância, enquanto Latency optimized seleciona o menor tempo até o primeiro token. Throughput optimized seleciona a configuração com a maior vazão, que pode usar decodificação especulativa.

Limites da comparação

Modelos de raciocínio e modelos sem raciocínio são avaliados com parâmetros de geração diferentes, por isso as comparações entre os dois tipos são aproximadas. As pontuações do GPQA Diamond para modelos de raciocínio são calculadas pela média de 10 execuções.

A AWS recomenda usar o ranking para criar uma lista preliminar e avaliar os principais candidatos com os dados e prompts da própria aplicação antes da produção. A empresa também observa que cada métrica se aplica à configuração em que foi medida; uma configuração de implantação diferente pode alterar a qualidade, a latência, a vazão e o custo.

Um usuário pode abrir um modelo no ranking para implantá-lo ou, se ele oferecer suporte à personalização sem servidor, personalizá-lo. O fluxo de trabalho exige acesso ao SageMaker Studio e permissão para implantar modelos JumpStart.

Fontes

  1. Fonte original · Post de blog Amazon Web Services aws.amazon.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos