Zum Inhalt springen
AI.info

The Pulse

NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen

NVIDIA beschreibt, wie Dynamo Rollouts beim bestärkenden Lernen routet, aktualisierte Modellgewichte verteilt und mit Ausfällen von Workern umgeht. Das Unternehmen nennt außerdem Leistungswerte von Kunden für ModelExpress, darunter bis zu 15-mal schnellere Gewichtsaktualisierungen bei CoreWeave.

NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen

NVIDIA zufolge kann die Serving-Schicht Dynamo Verzögerungen beim Training mit bestärkendem Lernen verringern, indem sie Modellanfragen routet, aktualisierte Gewichte verteilt und sich von Ausfällen von Workern erholt. In einem technischen Beitrag vom 19. November beschrieb das Unternehmen, wie die Tools die Inferenzarbeit für die Generierung von Trainingsbeispielen handhaben, und nannte Leistungswerte von Kunden für die Verteilungskomponente ModelExpress.

Warum Rollouts das Training verlangsamen

Beim bestärkenden Lernen erzeugen Worker Rollouts: Sequenzen aus Modellausgaben, Aktionen und Interaktionen mit einer Umgebung. Das Trainings-Framework bewertet diese Ergebnisse, aktualisiert die Modellgewichte und sendet die Gewichte für eine weitere Runde an die Worker zurück.

Rollouts unterscheiden sich je nach Aufgabe, wodurch die Arbeitslast ungleichmäßig wird. Ein Rollout für eine Schlussfolgerungsaufgabe kann aus einer einzigen Antwort bestehen, während ein Rollout eines Coding-Agenten das Erkunden eines Repositorys, Änderungen, Werkzeugaufrufe und das Ausführen von Tests umfassen kann.

Wenn ein Trainingsschritt eine Gruppe von Beispielen benötigt, kann der langsamste erforderliche Rollout den nächsten Schritt aufhalten. Eine gleiche Anzahl von Anfragen auf GPUs zu verteilen, bedeutet nicht zwangsläufig, dass auch die Arbeit gleichmäßig verteilt wird.

Wiederkehrender Kontext ist eine weitere Arbeitsquelle: Versuche für dieselbe Aufgabe können mit denselben Anweisungen, derselben Aufgabenbeschreibung oder demselben Repository-Kontext beginnen. Außerdem benötigen Worker aktualisierte Modellgewichte, die den Anforderungen des Trainingsalgorithmus an das Sampling und an eine akzeptable Veraltung entsprechen.

Routing und Gewichtsaktualisierungen

Dynamo befindet sich zwischen der Software, die die Rollouts koordiniert, und den Inferenz-Workern, die sie erzeugen. Das Framework für bestärkendes Lernen übermittelt Anfragen, Dynamo leitet sie an geeignete Kapazitäten weiter, und Inferenz-Engines führen das Modell aus.

Das Framework bleibt für die Optimierung, Belohnungen, Umgebungen und Checkpoints sowie für die Entscheidung verantwortlich, welche Beispiele angenommen werden. Dynamo übernimmt Routing, Worker-Verwaltung, Serving-Steuerung und Telemetrie, während ModelExpress Modellgewichte und Artefakte über unterstützte Integrationen verteilt.

Anfragen laufen über ein gemeinsames Serving-Frontend, Gewichtsaktualisierungen richten sich jedoch unter der Kontrolle des Frameworks an ausgewählte Worker. Das Framework entscheidet, wann Worker Beispiele erzeugen können und ob die Ergebnisse seinen Trainingsanforderungen entsprechen.

Der Router von Dynamo wägt laut NVIDIA die Wiederverwendung des KV-Caches gegen die Auslastung der Worker ab. Werden Anfragen an einen Worker gesendet, der einen gemeinsam genutzten Prompt bereits im Cache hat, kann dessen erneute Verarbeitung vermieden werden. Werden jedoch alle Anfragen an diesen Worker gesendet, kann sich eine Warteschlange bilden.

ModelExpress verwendet bereits im Cluster vorhandene Gewichte erneut, statt sie aus einem entfernten Speicher zu laden. Kompatible Worker können Gewichte über NIXL direkt von einer anderen GPU kopieren. Bei späteren Aktualisierungen überträgt der Delta-Transfer eine komprimierte Darstellung der Änderungen statt des vollständigen Modells; die Worker rekonstruieren die neuen Gewichte anhand der passenden Basisversion.

Ausfälle und gemeldete Ergebnisse

Dynamo erkennt einen ausgefallenen Worker, leitet neue Anfragen an geeignete Worker weiter und nimmt Ersatz-Worker ins Routing auf, sobald sie bereit sind. Unterstützte Konfigurationen ermöglichen außerdem die Migration geeigneter Anfragen, die bereits laufen, und ein kontrolliertes Auslaufenlassen. Das Trainings-Framework kümmert sich um unterbrochene Beispiele und prüft, ob Ersatz-Worker über die benötigten Gewichte verfügen.

Ein Ersatz-Worker kann einen Checkpoint laden und nachfolgende Deltas anwenden, um mit dem Trainingslauf aufzuschließen. Gesunde Worker können weiterhin Rollouts erzeugen, während die Kapazität wiederhergestellt wird.

NVIDIA zufolge nutzt CoreWeave Dynamo und ModelExpress, um Modellgewichtsaktualisierungen um bis zu das 15-Fache zu beschleunigen. Das Unternehmen berichtet außerdem, dass H Company damit die durchschnittliche Dauer eines Trainingsschritts um bis zu 20 % und die GPU-Stunden um bis zu 5 % senkte.

Open-Source-Integrationen verbinden Dynamo mit den Stacks für bestärkendes Lernen von verl, NeMo RL, Slime und prime-rl. In dem Beitrag werden außerdem Microsoft AI, Cognition und Prime Intellect als Nutzer von Dynamo in Workflows für bestärkendes Lernen genannt.

Quellen

  1. Originalquelle · Blogbeitrag NVIDIA Technical Blog developer.nvidia.com

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel