The Pulse
NVIDIA detalla un flujo de trabajo con dos prompts para preparar datos de entrenamiento de IA física
NVIDIA describió una forma de configurar y ejecutar flujos de trabajo de datos de IA física mediante dos prompts dirigidos a un agente de programación. Cosmos Data Factory ofrece cinco planos de referencia para tareas que incluyen escenarios de conducción, videos de sucesos poco frecuentes e imágenes de defectos.

Los desarrolladores pueden usar dos prompts para configurar y ejecutar flujos de trabajo que preparan datos de entrenamiento para IA física, como escenas de conducción sintéticas e imágenes de defectos. Una publicación técnica de NVIDIA del 18 de noviembre describe el método para Cosmos Data Factory, que utiliza un agente de programación para configurar el entorno y llevar a cabo una tarea elegida.
El sistema consta de cinco planos de referencia nativos de la nube y seis habilidades combinables para la curación, el procesamiento y la generación de datos. La guía explica cómo ampliar conjuntos de datos existentes y crear ejemplos de sucesos o defectos que pueden ser difíciles de capturar.
De la configuración a un conjunto de datos
Un primer prompt indica al agente de programación que clone el repositorio de orquestación y ejecute las comprobaciones previas y la configuración. Las comprobaciones previas examinan el entorno sin modificarlo y señalan los requisitos que faltan; a continuación, la configuración prepara el entorno para ejecutar los planos de referencia.
Un segundo prompt selecciona un plano de referencia y especifica el trabajo de preparación de datos de entrenamiento. La habilidad de orquestación coordina los pasos del flujo de trabajo, despliega los servicios necesarios y gestiona la ejecución en el clúster del usuario.
La publicación ofrece ejemplos que utilizan imágenes o videos del desarrollador como datos de entrada y especifican una ubicación de salida. Según el plano de referencia, el flujo de trabajo puede generar variaciones, revisarlas y asignarles etiquetas para el entrenamiento.
Conducción y variaciones de video
Para los vehículos autónomos, un plano de referencia busca en una base de datos de escenarios de conducción y genera conjuntos de datos para el entrenamiento y la validación de modelos. Cosmos Curator extrae metadatos de los videos de entrada, mientras que Cosmos Dataset Search encuentra videos pertinentes mediante embeddings.
Los videos recuperados pasan por una transferencia de estilo con Cosmos3-Super-Image2Video, y Cosmos Evaluator comprueba que sean físicamente plausibles. Una solicitud de ejemplo pide transformar escenas que coincidan con un video de entrada para que muestren condiciones lluviosas, nevadas y con niebla, preservando la disposición y el movimiento.
Otro plano de referencia crea variaciones de imágenes recortadas de personas y cambia atributos como la ropa, los accesorios y el color. Un modelo de lenguaje convierte los atributos seleccionados en prompts estructurados; el flujo de trabajo comprueba que se incluyan los atributos de ropa solicitados y etiqueta los resultados con atributos y consultas de búsqueda para la búsqueda y la reidentificación de personas.
El plano de referencia de aumento de video cambia el clima, la iluminación o las condiciones del entorno en videos existentes, preservando la estructura de la escena. Cosmos3-Nano genera la variante, y el evaluador comprueba si hay artefactos de movimiento añadidos, si se cumplen las condiciones solicitadas y si el movimiento es físicamente plausible. Después, el flujo de trabajo etiqueta tanto los videos de origen como los generados con detecciones, seguimiento y descripciones.
Sucesos poco frecuentes y defectos
Para los sucesos poco frecuentes, un plano de referencia independiente parte de una imagen y genera videos de situaciones como caídas, incendios o hurtos en tiendas. Un modelo de visión y lenguaje combina una descripción de la escena con el suceso solicitado, y Cosmos3-Super-Image2Video genera un clip que preserva el punto de vista y la disposición de la imagen de origen.
Los clips generados se revisan para comprobar que incluyan el suceso solicitado y un movimiento físicamente plausible; los que no superan la revisión se vuelven a generar. Los clips aprobados reciben detecciones, trayectorias, descripciones y anotaciones semánticas para su uso en etapas posteriores del entrenamiento.
Un quinto plano de referencia genera ejemplos de defectos a partir de imágenes de inspección sin defectos o de activos USD 3D de piezas como placas de circuitos, paneles de vidrio y superficies metálicas. Para los activos 3D, Isaac Sim renderiza imágenes y máscaras de inspección, mientras que Qwen-Image-Edit crea imágenes de referencia sin defectos conocidas como «golden images».
Cosmos 3 Super utiliza esas imágenes de referencia, las máscaras de defectos y los tipos de defectos solicitados para generar defectos, preservando el resto de la pieza. El modelo se distribuye ajustado mediante fine-tuning para placas de circuitos impresos, vidrio y metal, con habilidades adicionales de fine-tuning para otros usos. Los resultados incluyen imágenes sin defectos e imágenes sintéticas con defectos, además de manifiestos que vinculan los resultados con su origen y los ajustes de generación.
Los planos de referencia se basan en las habilidades Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation y Orchestration. La publicación señala que esas habilidades pueden usarse por separado o combinarse en flujos de trabajo personalizados.
Fuentes
- Fuente original · Entrada de blog NVIDIA Technical Blog developer.nvidia.com
Empresas en esta noticia
Noticias relacionadas
- MegaRobo recauda casi 200 millones de dólares para sistemas de IA física
- NVIDIA detalla herramientas de Dynamo para las trayectorias de aprendizaje por refuerzo
- NVIDIA apunta a los cuellos de botella en los cálculos de materiales con Daviator
- Google Cloud detalla la extracción de metadatos con IA para objetos de almacenamiento
- Aikido amplía las pruebas de penetración con IA a las aplicaciones de iOS