The Pulse
AWS publica resultados de fine-tuning completo para SageMaker sin servidor
AWS informa de una puntuación de corrección semántica del 90,0 % en un experimento de generación de código con fine-tuning completo, a medida que los datos de entrenamiento aumentaron hasta superar los 100.000 ejemplos. SageMaker AI admite esta técnica para más de 25 modelos de código abierto desde agosto.

El fine-tuning completo alcanzó un 90,0 % de corrección semántica en tareas de generación de código cuando los datos de entrenamiento aumentaron hasta superar los 100.000 ejemplos, según un experimento de Amazon Web Services con la personalización de modelos sin servidor de SageMaker AI. La compañía publicó el resultado el 18 de noviembre, junto con una comparación con un método que actualiza menos parámetros del modelo.
La capacidad se anunció por primera vez el 3 de agosto; no se presentó en el nuevo experimento. En ese momento, AWS dijo que el fine-tuning completo sin servidor admitía más de 25 modelos de código abierto, incluidos modelos de las familias gpt-oss, Gemma, Llama, Nemotron y Qwen.
Dos formas de personalizar un modelo
El fine-tuning completo actualiza todos los parámetros del modelo, mientras que la adaptación de bajo rango, o LoRA, congela los pesos preentrenados y añade matrices más pequeñas a las capas del modelo. Ambos métodos pueden utilizarse para adaptar un modelo preentrenado con los datos de una organización.
En la personalización sin servidor, los usuarios especifican el modelo base, los conjuntos de datos y los hiperparámetros, y el servicio se encarga de asignar los recursos de cómputo y gestionar los puntos de control. El anuncio de agosto indicaba que los clientes solo pagan por lo que usan.
El experimento de programación
La publicación de noviembre describe experimentos de fine-tuning supervisado con el modelo base Qwen3-4B, mediante fine-tuning completo y LoRA. En cada experimento, ambos métodos de entrenamiento recibieron los mismos prompts, objetivos y código de evaluación.
Los experimentos utilizaron Magicoder-Evol-Instruct-110K, un conjunto de datos con 110.000 pares de instrucciones y respuestas de programación que abarcan diseño de algoritmos, depuración, estructuras de datos y programación de sistemas. AWS dividió ese conjunto de datos en 99.000 registros de entrenamiento, 5.500 registros de validación y un conjunto de prueba reservado de 5.500 registros.
La evaluación de la corrección semántica utilizó Amazon Nova Pro como juez automatizado: examinó el código generado junto con el prompt original y evaluó si la solución era lógicamente correcta. El resultado comunicado del 90,0 % corresponde a esa medida evaluada por el modelo en tareas de generación de código, no a una puntuación de precisión general para todos los usos.
Otras comprobaciones y configuración de los trabajos
El equipo también evaluó el código generado con PRIMECODE, un evaluador personalizado que compara los resultados con soluciones de referencia mediante medidas de similitud textual, como BLEU, ROUGE y F1. Utilizó el benchmark MMLU, que abarca 57 disciplinas académicas, para comprobar la retención de conocimientos generales antes y después del fine-tuning específico del dominio.
AWS afirma que el fine-tuning completo llegó más lejos que LoRA en todas las dimensiones de su comparación en un gráfico de radar. En otra parte de la publicación, señala que el fine-tuning completo «no es superior a LoRA en todos los casos» e informa de que LoRA quedó ligeramente por delante en la métrica evaluada por el modelo en uno de los resultados: 81,5 % frente a 79,5 %. La publicación describe decenas de experimentos de personalización con varios modelos base compatibles, en los que se variaron parámetros como la tasa de aprendizaje, el tamaño del lote, la proporción de calentamiento, el número de épocas y la escala del conjunto de datos.
Cada experimento, desde el envío de un trabajo hasta la obtención de los resultados de evaluación, duró unas pocas horas, según la compañía. Los modelos resultantes se registraron como paquetes versionados en SageMaker Model Registry para su revisión o despliegue.
Cómo usar el servicio
Un ejemplo de trabajo del SDK de Python de SageMaker incluido en la publicación selecciona el entrenamiento completo, proporciona conjuntos de datos de entrenamiento y validación, establece los hiperparámetros e inicia el trabajo. Para cambiar el ejemplo a LoRA, hay que cambiar el tipo de entrenamiento; el resto del código mostrado sigue siendo el mismo.
En el momento del anuncio de agosto, el fine-tuning completo sin servidor estaba disponible en US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) y Europe (Ireland). Los clientes pueden iniciar un trabajo de personalización desde la página JumpStart and Models de SageMaker Studio o utilizar el SDK de Python.
Fuentes
- Fuente original · Entrada de blog Amazon Web Services · Full fine tuning fft on sagemaker AI serverless model custo… aws.amazon.com
Otras páginas leídas
- Amazon Web Services · Amazon sagemaker fft aws.amazon.com
Empresas en esta noticia
Noticias relacionadas
- AWS añade una tabla de clasificación de modelos a SageMaker JumpStart
- China Telecom detalla el entrenamiento de Xing 4 con 8.192 chips Ascend
- Una encuesta de Adecco vincula el rediseño del trabajo con IA con un mayor ahorro de tiempo declarado
- Aimbient afirma que un estudio dirigido por Stanford no halló diferencias significativas entre las marcas de tiempo de quirófano generadas por IA y las manuales
- Google apunta a 2029 para lanzar satélites de IA con Blue Origin