The Pulse
AWS publie les résultats du fine-tuning complet sans serveur de SageMaker
AWS fait état d’un score de correction sémantique de 90,0 % pour le fine-tuning complet dans une expérience de génération de code, à mesure que les données d’entraînement ont dépassé 100 000 exemples. Depuis août, SageMaker AI prend en charge cette technique pour plus de 25 modèles open source.

Le fine-tuning complet a atteint un score de correction sémantique de 90,0 % sur des tâches de génération de code, à mesure que les données d’entraînement ont dépassé 100 000 exemples, selon une expérience d’Amazon Web Services utilisant la personnalisation de modèles sans serveur de SageMaker AI. L’entreprise a publié ce résultat le 18 novembre, accompagné d’une comparaison avec une méthode qui met à jour moins de paramètres du modèle.
Cette fonctionnalité a été annoncée pour la première fois le 3 août, et non introduite dans le cadre de la nouvelle expérience. À l’époque, AWS indiquait que le fine-tuning complet sans serveur prenait en charge plus de 25 modèles open source, dont des modèles des familles gpt-oss, Gemma, Llama, Nemotron et Qwen.
Deux façons de personnaliser un modèle
Le fine-tuning complet met à jour tous les paramètres du modèle, tandis que l’adaptation de faible rang, ou LoRA, gèle les poids préentraînés et ajoute de petites matrices aux couches du modèle. Les deux méthodes peuvent servir à adapter un modèle préentraîné à l’aide des données d’une organisation.
Dans le cadre de la personnalisation sans serveur, les utilisateurs indiquent le modèle de base, les jeux de données et les hyperparamètres, et le service gère l’allocation des ressources de calcul et la gestion des points de contrôle. L’annonce d’août précisait que les clients ne paient que ce qu’ils utilisent.
L’expérience de génération de code
La publication de novembre décrit des expériences de fine-tuning supervisé sur le modèle de base Qwen3-4B, faisant appel au fine-tuning complet et à LoRA. Dans chaque expérience, les deux méthodes d’entraînement ont utilisé les mêmes prompts, cibles et code d’évaluation.
Les expériences ont utilisé Magicoder-Evol-Instruct-110K, un jeu de données de 110 000 paires d’instructions et de réponses liées au code, couvrant la conception d’algorithmes, le débogage, les structures de données et la programmation système. AWS a réparti ce jeu de données en 99 000 enregistrements d’entraînement, 5 500 enregistrements de validation et un jeu de test tenu à l’écart de 5 500 enregistrements.
L’évaluation de la correction sémantique a utilisé Amazon Nova Pro comme juge automatisé : il a examiné le code généré avec le prompt d’origine et évalué si la solution était logiquement correcte. Le résultat annoncé de 90,0 % correspond à cette mesure évaluée par le modèle pour des tâches de génération de code, et non à un score général de précision couvrant tous les usages.
Autres vérifications et configuration des tâches
L’équipe a également évalué le code généré avec PRIMECODE, un évaluateur personnalisé qui compare les résultats à des solutions de référence à l’aide de mesures de similarité textuelle, dont BLEU, ROUGE et F1. Elle a utilisé le benchmark MMLU, qui couvre 57 disciplines universitaires, pour vérifier la conservation des connaissances générales avant et après le fine-tuning sur un domaine spécifique.
AWS indique que le fine-tuning complet allait plus loin que LoRA sur chaque dimension de sa comparaison sous forme de graphique radar. Ailleurs dans la publication, l’entreprise précise que le fine-tuning complet « n’est pas systématiquement supérieur à LoRA » et rapporte que LoRA devançait légèrement le fine-tuning complet sur la mesure évaluée par le modèle dans un résultat, avec 81,5 % contre 79,5 %. La publication décrit des dizaines d’expériences de personnalisation sur plusieurs modèles de base pris en charge, avec des paramètres variables tels que le taux d’apprentissage, la taille des lots, le ratio de warmup, le nombre d’époques et l’échelle du jeu de données.
Chaque expérience, de la soumission d’une tâche à l’obtention des résultats de l’évaluation, a pris quelques heures, selon l’entreprise. Les modèles obtenus ont été enregistrés sous forme de packages versionnés dans SageMaker Model Registry, en vue d’un examen ou d’un déploiement.
Utiliser le service
Un exemple de tâche utilisant le SDK Python de SageMaker, présenté dans la publication, sélectionne l’entraînement complet, fournit des jeux de données d’entraînement et de validation, définit les hyperparamètres et lance la tâche. Pour passer l’exemple à LoRA, il suffit de modifier le type d’entraînement ; le reste du code présenté reste identique.
Au moment de l’annonce d’août, le fine-tuning complet sans serveur était disponible dans les régions US East (N. Virginia), US West (Oregon), Asia Pacific (Tokyo) et Europe (Ireland). Les clients peuvent lancer une tâche de personnalisation depuis la page JumpStart and Models dans SageMaker Studio ou utiliser le SDK Python.
Sources
- Source originale · Billet de blog Amazon Web Services · Full fine tuning fft on sagemaker AI serverless model custo… aws.amazon.com
Autres pages lues
- Amazon Web Services · Amazon sagemaker fft aws.amazon.com
Entreprises citées
Articles liés
- AWS ajoute un classement des modèles à SageMaker JumpStart
- China Telecom détaille l’entraînement de Xing 4 sur 8 192 puces Ascend
- Une enquête d’Adecco établit un lien entre la refonte du travail liée à l’IA et des gains de temps déclarés plus importants
- Google vise 2029 pour le lancement de satellites d’IA par Blue Origin
- Google affirme que des tests quantiques dépassent les limites des stratégies classiques