Aller au contenu
AI.info

The Pulse

NVIDIA détaille un flux de travail à deux prompts pour les données d’entraînement de l’IA physique

NVIDIA a présenté une méthode pour configurer et exécuter des workflows de données pour l’IA physique au moyen de deux prompts adressés à un agent de programmation. Cosmos Data Factory propose cinq plans de référence pour des tâches portant notamment sur des scénarios de conduite, des vidéos d’événements rares et des images de défauts.

NVIDIA détaille un flux de travail à deux prompts pour les données d’entraînement de l’IA physique

Les développeurs peuvent utiliser deux prompts pour configurer et exécuter des workflows de préparation des données d’entraînement pour l’IA physique, notamment des scènes de conduite synthétiques et des images de défauts. Dans une publication technique datée du 18 novembre, NVIDIA décrit cette approche pour Cosmos Data Factory, qui fait appel à un agent de programmation pour configurer l’environnement et réaliser une tâche choisie.

Le système comprend cinq plans de référence natifs du cloud et six compétences modulaires pour organiser, traiter et générer des données. Le guide présente des moyens d’enrichir des jeux de données existants ainsi que de créer des exemples d’événements ou de défauts difficiles à capturer.

De la configuration au jeu de données

Un premier prompt demande à l’agent de programmation de cloner le dépôt d’orchestration, puis d’effectuer les vérifications préalables et la configuration. Les vérifications préalables contrôlent l’environnement sans le modifier et signalent les prérequis manquants ; la configuration prépare ensuite l’environnement à l’exécution des plans de référence.

Un deuxième prompt sélectionne un plan de référence et précise la tâche de préparation des données d’entraînement. La compétence d’orchestration coordonne les étapes du workflow, déploie les services requis et gère l’exécution sur le cluster de l’utilisateur.

La publication donne des exemples où les images ou vidéos d’un développeur servent d’entrées et où un emplacement de sortie est indiqué. Selon le plan de référence, le workflow peut générer des variantes, les vérifier et leur associer des étiquettes pour l’entraînement.

Variantes de conduite et de vidéos

Pour les véhicules autonomes, un plan de référence parcourt une base de données de scénarios de conduite et génère des jeux de données pour l’entraînement et la validation des modèles. Cosmos Curator extrait les métadonnées des vidéos fournies en entrée, tandis que Cosmos Dataset Search trouve des séquences pertinentes à l’aide d’embeddings.

Les vidéos récupérées passent par un transfert de style avec Cosmos3-Super-Image2Video, puis Cosmos Evaluator vérifie leur plausibilité physique. Un exemple de demande consiste à transformer des scènes correspondant à une vidéo d’entrée en conditions pluvieuses, enneigées et brumeuses, tout en préservant la disposition et le mouvement.

Un autre plan de référence crée des variantes d’images recadrées de personnes, en modifiant des attributs tels que les vêtements, les accessoires et les couleurs. Un modèle de langage transforme les attributs sélectionnés en prompts structurés ; le workflow vérifie la présence des attributs vestimentaires demandés et étiquette les résultats avec des attributs et des requêtes de recherche destinés à la recherche et à la réidentification de personnes.

Le plan de référence d’augmentation vidéo modifie la météo, l’éclairage ou les conditions environnementales dans des séquences existantes, tout en préservant la structure de la scène. Cosmos3-Nano génère la variante, et l’évaluateur vérifie la présence d’artefacts de mouvement ajoutés, des conditions demandées et d’un mouvement physiquement plausible. Le workflow annote ensuite les vidéos sources et générées avec des détections, des trajectoires et des légendes.

Événements rares et défauts

Pour les événements rares, un plan de référence distinct part d’une image et génère des vidéos de scénarios tels que des chutes, des incendies ou des vols à l’étalage. Un modèle vision-langage combine une description de la scène avec l’événement demandé, et Cosmos3-Super-Image2Video génère un clip qui préserve le point de vue et la disposition de l’image source.

Les clips générés sont vérifiés afin de confirmer la présence de l’événement demandé et d’un mouvement physiquement plausible ; ceux qui échouent sont relancés. Les clips validés reçoivent des détections, des trajectoires, des légendes et des annotations sémantiques destinées à l’entraînement en aval.

Un cinquième plan de référence produit des exemples de défauts à partir d’images d’inspection sans défaut ou d’actifs 3D USD de pièces telles que des circuits imprimés, des panneaux de verre et des surfaces métalliques. Pour les actifs 3D, Isaac Sim génère des images et des masques d’inspection, tandis que Qwen-Image-Edit crée des images de référence sans défaut, appelées golden images.

Cosmos 3 Super utilise ces images de référence, les masques de défauts et les types de défauts demandés pour générer des défauts tout en préservant les zones environnantes de la pièce. Le modèle est livré avec un fine-tuning pour les circuits imprimés, le verre et le métal, ainsi qu’avec des compétences de fine-tuning supplémentaires pour d’autres usages. Les sorties comprennent des images sans défaut et des images synthétiques de défauts, ainsi que des manifestes qui relient les résultats à leur source et à leurs paramètres de génération.

Les plans de référence sont construits à partir des compétences Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation et Orchestration. La publication indique que ces compétences peuvent être utilisées séparément ou combinées dans des workflows personnalisés.

Sources

  1. Source originale · Billet de blog NVIDIA Technical Blog developer.nvidia.com

Entreprises citées

Articles liés

Explorer

Autres articles