The Pulse
AWS ajoute un classement des modèles à SageMaker JumpStart
Une nouvelle vue de SageMaker Studio compare au moins 70 modèles selon leurs scores aux benchmarks, leur vitesse et le coût estimé des instances. AWS indique effectuer les tests de qualité avec un protocole d’évaluation commun, tout en précisant les limites des comparaisons entre modèles de raisonnement et modèles sans raisonnement.

Les utilisateurs de SageMaker Studio peuvent désormais comparer au moins 70 modèles selon leur qualité, leur vitesse et le coût estimé des instances dans un nouveau classement. Celui-ci réunit des modèles de fournisseurs comme Meta, Google, Qwen, IBM et Arcee. Amazon Web Services indique effectuer lui-même les tests de qualité en appliquant le même protocole d’évaluation à tous les modèles.
Le JumpStart Model Leaderboard est une nouvelle vue de la page des modèles de base de SageMaker JumpStart, aux côtés des vues existantes Categories et All models. Elle affiche par défaut des classements de grands modèles de langage, sans demander aux utilisateurs de répondre à des questions de configuration.
Ce que mesurent les classements
La vue conserve la barre de recherche et les filtres existants, notamment ceux portant sur la licence, le fournisseur et les modalités d’entrée et de sortie. Les utilisateurs peuvent trier les colonnes des benchmarks, masquer les métriques dont ils n’ont pas besoin et partager un lien direct vers le classement.
Une carte thermique bleue indique les résultats relatifs dans chaque colonne : plus la teinte est foncée, meilleur est le résultat. Le nom des modèles reste visible lorsque les utilisateurs font défiler horizontalement les métriques disponibles.
AWS effectue trois benchmarks publics de raisonnement : BIG-Bench Hard, GPQA Diamond et MMLU-Pro. BIG-Bench Hard évalue des tâches nécessitant un raisonnement en plusieurs étapes, notamment la déduction logique et l’arithmétique ; GPQA Diamond comprend des questions de sciences de niveau universitaire avancé ; MMLU-Pro évalue les connaissances et le raisonnement dans des matières comme les sciences, le droit et l’ingénierie.
Le classement présente les résultats de chaque benchmark séparément, sans les combiner en un score unique. AWS avertit que les scores de différents benchmarks ne sont pas directement comparables, car les tests présentent des niveaux de difficulté différents.
Vitesse, coût et choix de déploiement
AWS indique mesurer les performances et le coût en envoyant une charge de travail standardisée à un point de terminaison déployé avec chaque configuration JumpStart. Les colonnes de performance comprennent le délai avant le premier token, le débit par requête en tokens par seconde et le coût horaire estimé de l’instance.
Le coût estimé couvre uniquement le coût de l’instance SageMaker, calculé à partir du tarif horaire à la demande pour le type d’instance par défaut de la configuration. Il exclut le transfert de données, le stockage, les coûts des composants d’inférence et les remises telles que les Reserved Instances ou les AWS Savings Plans ; les factures réelles varieront.
Deux menus déterminent les chiffres de performance et de coût affichés. Le profil d’utilisation est réglé par défaut sur Max Context et modifie ces chiffres, mais pas les scores de qualité. L’objectif d’optimisation est réglé par défaut sur Balanced et sélectionne une configuration de déploiement pour le profil choisi.
L’objectif Balanced sélectionne la configuration dont le coût estimé par token est le plus bas. Cost optimized sélectionne le prix horaire de l’instance le plus bas, tandis que Latency optimized sélectionne le délai avant le premier token le plus court. Throughput optimized sélectionne la configuration au débit le plus élevé, qui peut utiliser le décodage spéculatif.
Limites de la comparaison
Les modèles de raisonnement et les modèles sans raisonnement sont évalués avec des paramètres de génération différents ; les comparaisons entre les deux types sont donc approximatives. Les scores GPQA Diamond des modèles de raisonnement sont calculés en faisant la moyenne de 10 passes.
AWS recommande d’utiliser le classement pour établir une présélection, puis d’évaluer les candidats les mieux classés avec les données et les prompts propres à l’application avant la mise en production. AWS souligne également que chaque métrique correspond à la configuration utilisée pour la mesurer ; une autre configuration de déploiement peut modifier la qualité, la latence, le débit et le coût.
Un utilisateur peut ouvrir un modèle depuis le classement pour le déployer ou, s’il prend en charge la personnalisation sans serveur, le personnaliser. L’accès à SageMaker Studio et l’autorisation de déployer des modèles JumpStart sont nécessaires pour suivre cette procédure.
Sources
- Source originale · Billet de blog Amazon Web Services aws.amazon.com
Entreprises citées
Articles liés
- Les clients d’AWS peuvent désormais déployer le modèle de dialogue vocal de PolyAI via SageMaker JumpStart
- AWS publie les résultats du fine-tuning complet sans serveur de SageMaker
- AWS ajoute à SageMaker HyperPod la reprise des tâches bloquées et des contrôles
- Exa affirme que les optimisations des puces AWS ont augmenté d’environ 50 % le débit de calcul des embeddings
- DMM et Algomatic Dynamics lancent un routeur pour 60 modèles d’IA ou plus