The Pulse
NVIDIA detalha fluxo de trabalho com dois prompts para dados de treinamento de IA física
A NVIDIA apresentou uma maneira de configurar e executar fluxos de trabalho de dados para IA física por meio de dois prompts enviados a um agente de programação. O Cosmos Data Factory oferece cinco modelos de referência para tarefas que incluem cenários de direção, vídeos de eventos raros e imagens de defeitos.

Desenvolvedores podem usar dois prompts para configurar e executar fluxos de trabalho que preparam dados de treinamento para IA física, incluindo cenas sintéticas de direção e imagens de defeitos. Uma publicação técnica da NVIDIA, de 18 de novembro, descreve a abordagem para o Cosmos Data Factory, que usa um agente de programação para configurar o ambiente e realizar uma tarefa selecionada.
O sistema consiste em cinco modelos de referência nativos da nuvem e seis habilidades combináveis para selecionar, processar e gerar dados. O passo a passo apresenta maneiras de ampliar conjuntos de dados existentes e também de criar exemplos de eventos ou defeitos que podem ser difíceis de capturar.
Da configuração a um conjunto de dados
Um primeiro prompt instrui o agente de programação a clonar o repositório de orquestração e executar as etapas de pré-verificação e configuração. A pré-verificação examina o ambiente sem alterá-lo e sinaliza requisitos ausentes; em seguida, a configuração prepara o ambiente para executar os modelos.
Um segundo prompt seleciona um modelo e especifica a tarefa de geração de dados de treinamento. A habilidade de orquestração coordena as etapas do fluxo de trabalho, implanta os serviços necessários e gerencia a execução no cluster do usuário.
A publicação apresenta exemplos que usam imagens ou vídeos de um desenvolvedor como entrada e especificam um local de saída. Dependendo do modelo, o fluxo de trabalho pode gerar variações, verificá-las e atribuir rótulos para treinamento.
Variações de direção e vídeo
Para veículos autônomos, um modelo pesquisa um banco de dados de cenários de direção e gera conjuntos de dados para treinamento e validação de modelos. O Cosmos Curator extrai metadados dos vídeos de entrada, enquanto o Cosmos Dataset Search encontra imagens relevantes por meio de embeddings.
Os vídeos recuperados passam pela transferência de estilo do Cosmos3-Super-Image2Video, e o Cosmos Evaluator verifica sua plausibilidade física. Um exemplo de solicitação pede que cenas correspondentes a um vídeo de entrada sejam transformadas em condições de chuva, neve e neblina, preservando o layout e o movimento.
Outro modelo cria variações de imagens recortadas de pessoas, alterando atributos como roupas, acessórios e cores. Um modelo de linguagem transforma atributos selecionados em prompts estruturados; o fluxo de trabalho verifica se as roupas têm os atributos solicitados e rotula os resultados com atributos e consultas de busca para busca de pessoas e reidentificação.
O modelo de aumento de vídeo altera as condições climáticas, a iluminação ou as condições ambientais em imagens existentes, preservando a estrutura da cena. O Cosmos3-Nano gera a variação, e o avaliador verifica se há artefatos de movimento introduzidos, se as condições solicitadas estão presentes e se o movimento é fisicamente plausível. Em seguida, o fluxo de trabalho rotula os vídeos de origem e os gerados com detecções, rastreamento e legendas.
Eventos raros e defeitos
Para eventos raros, um modelo separado começa com uma imagem e gera vídeos de situações como quedas, incêndios ou furtos em lojas. Um modelo de visão e linguagem combina uma descrição da cena com o evento solicitado, e o Cosmos3-Super-Image2Video gera um clipe que preserva o ponto de vista e o layout da imagem de origem.
Os clipes gerados são verificados quanto à presença do evento solicitado e à plausibilidade física do movimento; os que falham são gerados novamente. Os clipes aprovados recebem detecções, rastreamento, legendas e anotações semânticas para treinamento posterior.
Um quinto modelo produz exemplos de defeitos a partir de imagens limpas de inspeção ou de ativos 3D USD de peças como placas de circuito, painéis de vidro e superfícies metálicas. Para ativos 3D, o Isaac Sim renderiza imagens e máscaras de inspeção, enquanto o Qwen-Image-Edit cria imagens limpas de referência, conhecidas como golden images.
O Cosmos 3 Super usa essas referências, máscaras de defeitos e tipos de defeito solicitados para gerar defeitos, preservando a peça ao redor. O modelo já vem ajustado por fine-tuning para placas de circuito impresso, vidro e metal, com habilidades adicionais de fine-tuning para outros usos. As saídas incluem imagens limpas e imagens sintéticas de defeitos, além de manifestos que vinculam os resultados à origem e às configurações de geração.
Os modelos são construídos a partir das habilidades Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation e Orchestration. A publicação afirma que essas habilidades podem ser usadas separadamente ou combinadas em fluxos de trabalho personalizados.
Fontes
- Fonte original · Post de blog NVIDIA Technical Blog developer.nvidia.com
Empresas nesta notícia
Notícias relacionadas
- NVIDIA detalha ferramentas Dynamo para rollouts de aprendizado por reforço
- NVIDIA mira gargalos em cálculos de materiais com Daviator
- Humyn Labs capta US$ 47 milhões para expandir operações de dados para robôs
- MegaRobo capta quase US$ 200 milhões para sistemas de IA física
- Google Cloud detalha extração de metadados com IA para objetos de armazenamento