The Pulse
Exa affirme que les optimisations des puces AWS ont augmenté d’environ 50 % le débit de calcul des embeddings
Exa fait état d’un débit de calcul des embeddings environ 1,5 fois supérieur à son niveau initial après avoir optimisé ses charges de travail sur les puces AWS Inferentia2. Ces travaux ont été menés alors que l’entreprise de recherche recalculait les embeddings de 30 milliards de documents hautement prioritaires pour un nouveau modèle.

Exa affirme avoir porté le débit de sa charge de travail de calcul des embeddings de documents à environ 1,5 fois son niveau initial en l’optimisant pour les puces AWS Inferentia2. Dans un billet publié le 18 novembre sur le blog d’AWS consacré au machine learning, l’entreprise de recherche a également fait état d’une amélioration de 47 % des performances et du coût par million de documents traités, par rapport à son niveau de référence initial.
Source aws.amazon.com
Ces travaux ont été menés alors qu’Exa sélectionnait 30 milliards de documents hautement prioritaires pour recalculer leurs embeddings avec un nouveau modèle de documents. L’exécution en parallèle des pipelines d’embedding en production et du nouveau pipeline a doublé la charge d’inférence pendant cette migration.
Pourquoi la capacité de calcul des embeddings est importante
Exa crée un index à partir de données du Web, ainsi que de sources privées et synthétiques. L’entreprise utilise des modèles de machine learning pour placer les documents du Web et les requêtes dans le même espace vectoriel, ce qui permet d’effectuer des recherches en langage naturel en plus des recherches par mots-clés.
Les documents qui franchissent le seuil de qualité de l’entreprise passent par un pipeline asynchrone avant de pouvoir être servis depuis sa base de données vectorielle interne. Le pipeline explore, analyse, modère et filtre les données avant de calculer leurs embeddings.
Les chiffres rapportés pour Inferentia2 concernent une instance inf2.xlarge équipée d’une puce et de deux NeuronCores. La charge de travail s’exécute sur un seul NeuronCore, les pods Kubernetes étant regroupés sur des instances plus grandes ; le même processus s’exécute aussi sur un NeuronCore Trainium2 et passe à l’échelle grâce au parallélisme des données.
Modifications de la charge de travail
Le point de départ était une version du modèle en FP16, parallélisée sur les données. Exa a ensuite modifié la disposition des poids du modèle afin d’éviter les transpositions inutiles et activé autocast, ce qui permet au compilateur d’utiliser une précision inférieure pour la multiplication matricielle tout en préservant la plage dynamique.
Selon le billet, les résultats obtenus avec une précision inférieure ont satisfait au seuil de correction fixé par l’entreprise, soit une similarité cosinus de 0,999 par rapport à la référence. Un noyau d’attention précompilé de la bibliothèque Neuron Kernel Interface a apporté un gain de performance supplémentaire.
Le profilage a montré que les données étaient régulièrement transférées vers la mémoire à bande passante élevée, puis rechargées depuis celle-ci, laissant le Tensor Engine sous-utilisé pendant la passe avant. L’équipe a écrit un noyau MLP SwiGLU fusionné personnalisé, qui, selon elle, a éliminé ces blocages mémoire.
Exa a également réécrit le noyau d’attention en fonction des dimensions utilisées par son modèle afin de réduire les calculs consacrés au remplissage. L’entreprise a regroupé des opérations d’attention en multiplications matricielles uniques, alors que le noyau générique utilisait plusieurs étapes d’instructions, réduisant ainsi les opérations dans la boucle interne et les allers-retours en mémoire.
Agents et planification des ressources de calcul
Des agents ont développé les optimisations à l’aide d’un système permettant de vérifier la correction, de mesurer les performances et de profiler la charge de travail. Chaque agent exécute un workflow avec Flyte, qui compile un exécutable Neuron et compare une passe avant à un jeu de données de référence, avec une similarité cosinus requise de 0,999 par rapport au modèle canonique.
Le workflow profile également une passe avant et exécute sur le matériel un benchmark de saturation de 30 minutes. Des modèles plus légers explorent les paramètres du compilateur, des agents de raisonnement testent des hypothèses et repèrent les goulots d’étranglement, et des agents de génération de code écrivent des noyaux personnalisés.
L’entreprise a optimisé Inferentia2 dans la région US West (Oregon), tout en poursuivant les travaux sur Trainium2. Exa planifie les ressources de calcul sur plusieurs régions depuis un seul plan de contrôle Kubernetes, compare les performances par dollar entre les types d’instances et place les pods sur les nœuds les moins chers à mesure que la demande en calcul d’embeddings évolue.
Sources
- Source originale · Billet de blog Amazon Web Services aws.amazon.com
Entreprises citées
Articles liés
- Les États-Unis instaurent des règles de licence sur les puces visant l’accès à distance à l’IA
- AWS ajoute à SageMaker HyperPod la reprise des tâches bloquées et des contrôles
- AWS ajoute un classement des modèles à SageMaker JumpStart
- Anthropic fixe à 83 dollars par action le prix de son introduction en Bourse, avec une première cotation attendue au Nasdaq
- Cegedim ouvre un centre de données en France dédié à l’IA et au calcul haute densité