Ir para o conteúdo
AI.info

The Pulse

NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço

A NVIDIA descreve como o Dynamo roteia rollouts de aprendizado por reforço, distribui pesos de modelo atualizados e lida com falhas de workers. A empresa também divulga números de desempenho de clientes para o ModelExpress, incluindo atualizações de pesos até 15 vezes mais rápidas na CoreWeave.

NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço

A NVIDIA diz que sua camada de serving Dynamo pode reduzir atrasos no treinamento por aprendizado por reforço ao rotear solicitações ao modelo, distribuir pesos atualizados e se recuperar de falhas de workers. Em uma publicação técnica de 19 de novembro, a empresa descreveu como as ferramentas lidam com o trabalho de inferência usado para gerar amostras de treinamento e divulgou números de desempenho de clientes para seu componente de distribuição ModelExpress.

Por que os rollouts retardam o treinamento

No aprendizado por reforço, os workers geram rollouts: sequências de saídas do modelo, ações e interações com um ambiente. A estrutura de treinamento avalia esses resultados, atualiza os pesos do modelo e envia os pesos de volta aos workers para outra rodada.

Os rollouts variam de acordo com a tarefa, o que torna a carga de trabalho desigual. Um rollout de raciocínio pode consistir em uma resposta, enquanto um rollout de agente de programação pode incluir explorar um repositório, fazer edições, chamar ferramentas e executar testes.

Quando uma etapa de treinamento precisa de um grupo de amostras, o rollout necessário mais lento pode atrasar a etapa seguinte. Distribuir um número igual de solicitações entre GPUs não necessariamente distribui o trabalho de maneira uniforme.

O contexto repetido é outra fonte de trabalho: tentativas da mesma tarefa podem começar com as mesmas instruções, descrição da tarefa ou contexto do repositório. Os workers também precisam receber pesos de modelo atualizados de acordo com os requisitos do algoritmo de treinamento para amostragem e nível aceitável de desatualização.

Roteamento e atualizações de pesos

O Dynamo fica entre o software que coordena os rollouts e os workers de inferência que os geram. A estrutura de aprendizado por reforço envia solicitações, o Dynamo as roteia para recursos elegíveis e os mecanismos de inferência executam o modelo.

A estrutura continua responsável pela otimização, recompensas, ambientes, checkpoints e decisão sobre quais amostras são aceitas. O Dynamo cuida do roteamento, do gerenciamento de workers, dos controles de serving e da telemetria, enquanto o ModelExpress distribui pesos e artefatos do modelo por meio de integrações compatíveis.

As solicitações passam por um frontend de serving compartilhado, mas as operações de atualização de pesos são direcionadas a workers selecionados sob o controle da estrutura. A estrutura determina quando os workers podem gerar amostras e se os resultados atendem aos requisitos de treinamento.

O roteador do Dynamo equilibra o reaproveitamento do cache KV com a carga dos workers, segundo a NVIDIA. Enviar solicitações a um worker que tenha armazenado em cache um prompt compartilhado pode evitar processá-lo novamente, mas enviar todas as solicitações a esse worker pode criar uma fila.

O ModelExpress reaproveita pesos que já estão no cluster, em vez de carregá-los de um armazenamento remoto. Workers compatíveis podem copiar pesos diretamente de outra GPU usando NIXL. Nas atualizações seguintes, a transferência de deltas envia uma representação compactada das alterações, em vez do modelo completo; os workers reconstroem os novos pesos a partir da versão-base correspondente.

Falhas e resultados divulgados

O Dynamo detecta a perda de um worker, direciona novas solicitações a workers elegíveis e inclui substitutos no roteamento quando estão prontos. Configurações compatíveis também permitem migrar solicitações elegíveis que já estão em andamento e fazer uma retirada ordenada. A estrutura de treinamento lida com amostras interrompidas e verifica se os workers substitutos têm os pesos necessários.

Um worker substituto pode carregar um checkpoint e aplicar deltas posteriores para acompanhar a execução do treinamento. Workers saudáveis podem continuar gerando rollouts enquanto a capacidade é restaurada.

A NVIDIA diz que a CoreWeave usa o Dynamo e o ModelExpress para acelerar em até 15 vezes as atualizações dos pesos do modelo. A empresa também relata que a H Company usou as ferramentas para reduzir em até 20% o tempo médio de cada etapa de treinamento e em até 5% as horas de GPU.

Integrações de código aberto conectam o Dynamo às estruturas de aprendizado por reforço verl, NeMo RL, Slime e prime-rl. A publicação também identifica Microsoft AI, Cognition e Prime Intellect como usuários do Dynamo em fluxos de trabalho de aprendizado por reforço.

Fontes

  1. Fonte original · Post de blog NVIDIA Technical Blog developer.nvidia.com

Empresas nesta notícia

Notícias relacionadas

Explore

Mais artigos