The Pulse
AWS divulga resultados de fine-tuning completo no SageMaker sem servidor
A AWS relata uma pontuação de 90,0% de correção semântica em um experimento de geração de código com fine-tuning completo, à medida que os dados de treinamento aumentaram para mais de 100.000 exemplos. Desde agosto, o SageMaker AI oferece suporte à técnica para mais de 25 modelos open source.

O fine-tuning completo alcançou 90,0% de correção semântica em tarefas de geração de código à medida que os dados de treinamento aumentaram para mais de 100.000 exemplos, segundo um experimento da Amazon Web Services que usou a personalização de modelos sem servidor do SageMaker AI. A empresa publicou o resultado em 18 de novembro, junto com uma comparação com um método que atualiza menos parâmetros do modelo.
A capacidade foi anunciada pela primeira vez em 3 de agosto, e não introduzida no novo experimento. Na época, a AWS disse que o fine-tuning completo sem servidor era compatível com mais de 25 modelos open source, incluindo modelos das famílias gpt-oss, Gemma, Llama, Nemotron e Qwen.
Duas formas de personalizar um modelo
O fine-tuning completo atualiza todos os parâmetros do modelo, enquanto a adaptação de baixo posto, ou LoRA, congela os pesos pré-treinados e adiciona matrizes menores às camadas do modelo. Ambos os métodos podem ser usados para adaptar um modelo pré-treinado com dados de uma organização.
Na personalização sem servidor, os usuários especificam o modelo-base, os conjuntos de dados e os hiperparâmetros, e o serviço cuida da alocação de recursos computacionais e do gerenciamento de checkpoints. O anúncio de agosto afirmava que os clientes pagam apenas pelo que usam.
O experimento de programação
A publicação de novembro descreve experimentos de fine-tuning supervisionado no modelo-base Qwen3-4B usando tanto o fine-tuning completo quanto o LoRA. Nos dois métodos de treinamento, cada experimento usou os mesmos prompts, alvos e código de avaliação.
Os experimentos usaram o Magicoder-Evol-Instruct-110K, um conjunto de dados com 110.000 pares de instruções e respostas sobre programação, que abrangem projeto de algoritmos, depuração, estruturas de dados e programação de sistemas. A AWS dividiu o conjunto de dados em 99.000 registros de treinamento, 5.500 registros de validação e um conjunto de teste reservado de 5.500 registros.
A avaliação de correção semântica usou o Amazon Nova Pro como avaliador automatizado: o modelo examinou o código gerado junto com o prompt original e avaliou se a solução estava logicamente correta. O resultado divulgado de 90,0% corresponde a essa medida avaliada pelo modelo em tarefas de geração de código, não a uma pontuação geral de precisão para todos os usos.
Outras verificações e configuração dos trabalhos
A equipe também avaliou o código gerado com o PRIMECODE, um avaliador personalizado que compara a saída com soluções de referência usando medidas de similaridade textual, incluindo BLEU, ROUGE e F1. Usou o benchmark MMLU, que abrange 57 disciplinas acadêmicas, para verificar a retenção de conhecimentos gerais antes e depois do fine-tuning específico de domínio.
A AWS afirma que o fine-tuning completo foi mais longe que o LoRA em todas as dimensões da comparação em gráfico radar. Em outra parte da publicação, diz que o fine-tuning completo “não é universalmente superior ao LoRA” e relata que o LoRA ficou ligeiramente à frente na métrica avaliada pelo modelo em um resultado: 81,5% a 79,5%. A publicação descreve dezenas de experimentos de personalização com vários modelos-base compatíveis, variando configurações como taxa de aprendizado, tamanho do lote, proporção de aquecimento, número de épocas e escala do conjunto de dados.
Cada experimento, do envio de um trabalho à obtenção dos resultados da avaliação, levou algumas horas, segundo a empresa. Os modelos resultantes foram registrados como pacotes versionados no SageMaker Model Registry para análise ou implantação.
Como usar o serviço
Um exemplo de trabalho com o SageMaker Python SDK na publicação seleciona o treinamento completo, fornece conjuntos de dados de treinamento e validação, define os hiperparâmetros e inicia o trabalho. Para mudar o exemplo para LoRA, é preciso alterar o tipo de treinamento; o restante do código ilustrado permanece igual.
Na época do anúncio de agosto, o fine-tuning completo sem servidor estava disponível em US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) e Europe (Ireland). Os clientes podem iniciar um trabalho de personalização pela página JumpStart and Models no SageMaker Studio ou usar o Python SDK.
Fontes
- Fonte original · Post de blog Amazon Web Services · Full fine tuning fft on sagemaker AI serverless model custo… aws.amazon.com
Outras páginas lidas
- Amazon Web Services · Amazon sagemaker fft aws.amazon.com
Empresas nesta notícia
Notícias relacionadas
- AWS adiciona ranking de modelos ao SageMaker JumpStart
- China Telecom detalha treinamento do Xing 4 em 8.192 chips Ascend
- Pesquisa da Adecco associa redesenho do trabalho com IA a maior economia de tempo relatada
- Aimbient diz que estudo liderado por Stanford não encontrou diferença significativa entre registros de horário do centro cirúrgico feitos por IA e manualmente
- Google mira 2029 para lançamento de satélites de IA pela Blue Origin