The Pulse
NVIDIA detalla herramientas de Dynamo para las trayectorias de aprendizaje por refuerzo
NVIDIA describe cómo Dynamo dirige las trayectorias de aprendizaje por refuerzo, distribuye los pesos actualizados del modelo y gestiona los fallos de los nodos de trabajo. La empresa también informa de cifras de rendimiento de clientes para ModelExpress, entre ellas actualizaciones de pesos hasta 15 veces más rápidas en CoreWeave.

NVIDIA afirma que su capa de servicio Dynamo puede reducir los retrasos en el entrenamiento por aprendizaje por refuerzo al dirigir las solicitudes al modelo, distribuir los pesos actualizados y recuperarse de los fallos de los nodos de trabajo. En una publicación técnica del 19 de noviembre, la empresa describió cómo las herramientas gestionan el trabajo de inferencia utilizado para generar muestras de entrenamiento e informó de cifras de rendimiento de clientes para su componente de distribución ModelExpress.
Por qué las trayectorias ralentizan el entrenamiento
En el aprendizaje por refuerzo, los nodos de trabajo generan trayectorias: secuencias de respuestas del modelo, acciones e interacciones con un entorno. El marco de entrenamiento puntúa esos resultados, actualiza los pesos del modelo y envía los pesos a los nodos de trabajo para otra ronda.
Las trayectorias varían según la tarea, lo que hace que la carga de trabajo sea irregular. Una trayectoria de razonamiento puede consistir en una sola respuesta, mientras que una trayectoria de un agente de programación puede incluir explorar un repositorio, hacer cambios, llamar a herramientas y ejecutar pruebas.
Cuando un paso de entrenamiento requiere un grupo de muestras, la trayectoria necesaria más lenta puede retrasar el siguiente paso. Distribuir el mismo número de solicitudes entre las GPU no necesariamente reparte el trabajo de manera uniforme.
El contexto repetido es otra fuente de trabajo: los intentos de realizar una misma tarea pueden empezar con las mismas instrucciones, descripción de la tarea o contexto del repositorio. Los nodos de trabajo también necesitan pesos del modelo actualizados de acuerdo con los requisitos del algoritmo de entrenamiento sobre el muestreo y la obsolescencia aceptable.
Enrutamiento y actualización de pesos
Dynamo se sitúa entre el software que coordina las trayectorias y los nodos de inferencia que las generan. El marco de aprendizaje por refuerzo envía solicitudes, Dynamo las dirige a la capacidad disponible que cumple los requisitos y los motores de inferencia ejecutan el modelo.
El marco sigue siendo responsable de la optimización, las recompensas, los entornos, los puntos de control y la decisión sobre qué muestras se aceptan. Dynamo se ocupa del enrutamiento, la gestión de los nodos de trabajo, los controles del servicio y la telemetría, mientras que ModelExpress distribuye los pesos y artefactos del modelo mediante integraciones compatibles.
Las solicitudes pasan por una interfaz de servicio compartida, pero las operaciones de actualización de pesos se dirigen a determinados nodos de trabajo bajo el control del marco. El marco determina cuándo pueden generar muestras los nodos de trabajo y si los resultados cumplen sus requisitos de entrenamiento.
El enrutador de Dynamo equilibra la reutilización de la caché KV con la carga de los nodos de trabajo, según NVIDIA. Enviar solicitudes a un nodo de trabajo que tenga en caché un prompt compartido puede evitar procesarlo de nuevo, pero enviar todas las solicitudes a ese nodo puede crear una cola.
ModelExpress reutiliza los pesos que ya están en el clúster en lugar de cargarlos desde un almacenamiento remoto. Los nodos de trabajo compatibles pueden copiar pesos directamente desde otra GPU mediante NIXL. En las actualizaciones posteriores, la transferencia de deltas envía una representación comprimida de los cambios en lugar del modelo completo; los nodos de trabajo reconstruyen los pesos nuevos a partir de la versión base correspondiente.
Fallos y resultados comunicados
Dynamo detecta la pérdida de un nodo de trabajo, dirige las nuevas solicitudes a nodos que cumplen los requisitos y añade reemplazos al enrutamiento cuando están listos. Las configuraciones compatibles también permiten migrar solicitudes aptas que ya están en curso y retirar los nodos de forma ordenada. El marco de entrenamiento se ocupa de las muestras interrumpidas y comprueba que los nodos de reemplazo tengan los pesos necesarios.
Un nodo de reemplazo puede cargar un punto de control y aplicar los deltas posteriores para ponerse al día con el entrenamiento en curso. Los nodos de trabajo que funcionan correctamente pueden seguir generando trayectorias mientras se restablece la capacidad.
NVIDIA afirma que CoreWeave utiliza Dynamo y ModelExpress para acelerar hasta 15 veces las actualizaciones de los pesos del modelo. La empresa también informa de que H Company los utilizó para reducir hasta un 20 % el tiempo medio de los pasos de entrenamiento y hasta un 5 % las horas de GPU.
Las integraciones de código abierto conectan Dynamo con las plataformas de aprendizaje por refuerzo verl, NeMo RL, Slime y prime-rl. La publicación también señala que Microsoft AI, Cognition y Prime Intellect utilizan Dynamo en flujos de trabajo de aprendizaje por refuerzo.
Fuentes
- Fuente original · Entrada de blog NVIDIA Technical Blog developer.nvidia.com
Empresas en esta noticia
Noticias relacionadas
- NVIDIA detalla un flujo de trabajo con dos prompts para preparar datos de entrenamiento de IA física
- NVIDIA apunta a los cuellos de botella en los cálculos de materiales con Daviator
- Valkey 9.2 añade funciones de copia de seguridad y replicación junto con una caché de IA
- Cegedim inaugura en Francia un centro de datos para IA y computación de alta densidad
- Mindstream planea un campus de IA de hasta 400 MW en Jordania