Aller au contenu
AI.info

The Pulse

NVIDIA détaille les outils Dynamo pour les séquences de génération en apprentissage par renforcement

NVIDIA décrit comment Dynamo achemine les séquences de génération en apprentissage par renforcement, distribue les poids actualisés des modèles et gère les défaillances des workers. L’entreprise communique également des chiffres de performance chez des clients pour ModelExpress, notamment des mises à jour des poids jusqu’à 15 fois plus rapides chez CoreWeave.

NVIDIA détaille les outils Dynamo pour les séquences de génération en apprentissage par renforcement

NVIDIA affirme que sa couche de service des modèles Dynamo peut réduire les délais de l’entraînement par apprentissage par renforcement en acheminant les requêtes aux modèles, en distribuant les poids actualisés et en gérant les défaillances des workers. Dans une publication technique du 19 novembre, l’entreprise a décrit la façon dont ces outils prennent en charge le travail d’inférence utilisé pour générer des échantillons d’entraînement et a communiqué des chiffres de performance chez des clients pour son composant de distribution ModelExpress.

Pourquoi les séquences de génération ralentissent l’entraînement

En apprentissage par renforcement, les workers génèrent des séquences de génération : des suites de sorties du modèle, d’actions et d’interactions avec un environnement. Le framework d’entraînement évalue ces résultats, actualise les poids du modèle et renvoie les poids aux workers pour un nouveau cycle.

Les séquences de génération varient selon la tâche, ce qui rend la charge de travail inégale. Une séquence de raisonnement peut se limiter à une réponse, tandis qu’une séquence générée par un agent de programmation peut comprendre l’exploration d’un dépôt, des modifications, l’appel d’outils et l’exécution de tests.

Lorsqu’une étape d’entraînement nécessite un groupe d’échantillons, la séquence de génération la plus lente parmi celles requises peut retarder l’étape suivante. Répartir un nombre égal de requêtes entre les GPU ne permet pas nécessairement de répartir la charge de travail de façon uniforme.

Le contexte répété représente une autre source de travail : plusieurs tentatives pour une même tâche peuvent commencer par les mêmes instructions, la même description de tâche ou le même contexte de dépôt. Les workers ont aussi besoin de poids actualisés conformément aux exigences de l’algorithme d’entraînement en matière d’échantillonnage et de décalage acceptable.

Routage et mise à jour des poids

Dynamo se place entre le logiciel qui coordonne les séquences de génération et les workers d’inférence qui les produisent. Le framework d’apprentissage par renforcement soumet les requêtes, Dynamo les achemine vers les capacités disponibles qui remplissent les critères, et les moteurs d’inférence exécutent le modèle.

Le framework reste responsable de l’optimisation, des récompenses, des environnements, des checkpoints et du choix des échantillons retenus. Dynamo gère le routage, la gestion des workers, les contrôles du service et la télémétrie, tandis que ModelExpress distribue les poids et les artefacts des modèles par le biais d’intégrations prises en charge.

Les requêtes passent par une interface de service commune, mais les opérations d’actualisation des poids ciblent des workers sélectionnés sous le contrôle du framework. Celui-ci détermine quand les workers peuvent générer des échantillons et si les résultats répondent à ses exigences d’entraînement.

Le routeur de Dynamo cherche un équilibre entre la réutilisation du cache KV et la charge des workers, selon NVIDIA. Envoyer des requêtes à un worker qui a mis en cache un prompt partagé peut éviter de le traiter à nouveau, mais envoyer toutes les requêtes à ce worker peut créer une file d’attente.

ModelExpress réutilise les poids déjà présents dans le cluster au lieu de les charger depuis un stockage distant. Les workers compatibles peuvent copier directement les poids depuis un autre GPU via NIXL. Pour les mises à jour suivantes, le transfert delta envoie une représentation compressée des changements plutôt que le modèle complet ; les workers reconstruisent les nouveaux poids à partir de la version de base correspondante.

Défaillances et résultats communiqués

Dynamo détecte la perte d’un worker, dirige les nouvelles requêtes vers les workers disponibles qui remplissent les critères et ajoute les remplaçants au routage lorsqu’ils sont prêts. Les configurations prises en charge permettent également la migration des requêtes admissibles déjà en cours de traitement et un retrait progressif. Le framework d’entraînement gère les échantillons interrompus et vérifie que les workers de remplacement disposent des poids requis.

Un worker de remplacement peut charger un checkpoint et appliquer les deltas suivants pour rattraper le déroulement de l’entraînement. Les workers en état de fonctionner peuvent continuer à générer des séquences pendant le rétablissement des capacités.

NVIDIA affirme que CoreWeave utilise Dynamo et ModelExpress pour accélérer jusqu’à 15 fois les mises à jour des poids des modèles. L’entreprise indique également que H Company les a utilisés pour réduire jusqu’à 20 % la durée moyenne des étapes d’entraînement et jusqu’à 5 % le nombre d’heures-GPU.

Des intégrations open source relient Dynamo aux frameworks d’apprentissage par renforcement verl, NeMo RL, Slime et prime-rl. La publication cite également Microsoft AI, Cognition et Prime Intellect parmi les utilisateurs de Dynamo dans des workflows d’apprentissage par renforcement.

Sources

  1. Source originale · Billet de blog NVIDIA Technical Blog developer.nvidia.com

Entreprises citées

Articles liés

Explorer

Autres articles