The Pulse
NVIDIA erläutert Zwei-Prompt-Workflow für Trainingsdaten physischer KI
NVIDIA hat einen Weg vorgestellt, physische KI-Daten-Workflows mithilfe von zwei Prompts an einen Coding-Agent einzurichten und auszuführen. Die Cosmos Data Factory bietet fünf Referenz-Blueprints für Aufgaben wie Fahrszenarien, Videos seltener Ereignisse und Fehlerbilder.

Entwickler können mit zwei Prompts Workflows einrichten und ausführen, die Trainingsdaten für physische KI aufbereiten – darunter synthetische Fahrszenen und Fehlerbilder. In einem technischen Beitrag vom 18. November beschreibt NVIDIA den Ansatz für die Cosmos Data Factory: Ein Coding-Agent konfiguriert die Umgebung und führt eine ausgewählte Aufgabe aus.
Das System besteht aus fünf cloudnativen Referenz-Blueprints und sechs kombinierbaren Skills zur Kuratierung, Verarbeitung und Erzeugung von Daten. Die Schritt-für-Schritt-Anleitung zeigt, wie sich bestehende Datensätze erweitern und Beispiele für Ereignisse oder Fehler erzeugen lassen, die sich möglicherweise nur schwer aufnehmen lassen.
Von der Einrichtung zum Datensatz
Ein erster Prompt weist den Coding-Agent an, das Orchestrierungs-Repository zu klonen und Preflight sowie Setup auszuführen. Preflight prüft die Umgebung, ohne sie zu verändern, und weist auf fehlende Voraussetzungen hin; Setup bereitet anschließend die Umgebung für die Ausführung der Blueprints vor.
Ein zweiter Prompt wählt einen Blueprint aus und legt den Trainingsdaten-Auftrag fest. Der Orchestrierungs-Skill koordiniert die Workflow-Schritte, stellt benötigte Dienste bereit und verwaltet die Ausführung auf dem Cluster des Nutzers.
Der Beitrag nennt Beispiele, bei denen Bilder oder Videos eines Entwicklers als Eingaben dienen und ein Ausgabeort angegeben wird. Je nach Blueprint kann der Workflow Variationen erzeugen, sie überprüfen und mit Labels für das Training versehen.
Variationen von Fahr- und Videoszenen
Für autonome Fahrzeuge durchsucht ein Blueprint eine Datenbank mit Fahrszenarien und erstellt Datensätze für das Modelltraining und die Validierung. Cosmos Curator extrahiert Metadaten aus den Eingabevideos, während Cosmos Dataset Search anhand von Embeddings relevantes Bildmaterial findet.
Die abgerufenen Videos durchlaufen einen Stiltransfer mit Cosmos3-Super-Image2Video, und Cosmos Evaluator prüft sie auf physikalische Plausibilität. Eine Beispielanfrage verlangt, Szenen, die einem Eingabevideo entsprechen, in Regen-, Schnee- und Nebelbedingungen umzuwandeln und dabei Layout und Bewegung zu erhalten.
Ein weiterer Blueprint erstellt Variationen zugeschnittener Bilder von Menschen und verändert dabei Merkmale wie Kleidung, Accessoires und Farbe. Ein Sprachmodell wandelt ausgewählte Merkmale in strukturierte Prompts um; der Workflow prüft, ob die gewünschten Kleidungsmerkmale vorhanden sind, und versieht die Ergebnisse mit Merkmalen und Suchanfragen für die Personensuche und Re-Identifizierung.
Der Blueprint zur Video-Augmentierung verändert Wetter, Beleuchtung oder Umgebungsbedingungen in vorhandenem Bildmaterial und erhält dabei die Szenenstruktur. Cosmos3-Nano erzeugt die Variante, und der Evaluator prüft auf hinzugefügte Bewegungsartefakte, die gewünschten Bedingungen und physikalisch plausible Bewegungen. Anschließend versieht der Workflow sowohl die Quellvideos als auch die erzeugten Videos mit Labels für Erkennungen, Tracking und Bildunterschriften.
Seltene Ereignisse und Fehler
Für seltene Ereignisse beginnt ein separater Blueprint mit einem Bild und erzeugt Videos von Szenarien wie Stürzen, Bränden oder Ladendiebstählen. Ein Vision-Language-Modell kombiniert eine Beschreibung der Szene mit dem gewünschten Ereignis, und Cosmos3-Super-Image2Video erzeugt einen Clip, der die Perspektive und das Layout der Vorlage beibehält.
Die erzeugten Clips werden auf das gewünschte Ereignis und physikalisch plausible Bewegungen geprüft; Clips, die die Prüfung nicht bestehen, werden erneut erzeugt. Clips, die bestehen, erhalten Erkennungen, Tracks, Bildunterschriften und semantische Annotationen für das nachgelagerte Training.
Ein fünfter Blueprint erzeugt Fehlerbeispiele aus sauberen Inspektionsbildern oder 3D-USD-Assets von Teilen wie Leiterplatten, Glasscheiben und Metalloberflächen. Bei 3D-Assets rendert Isaac Sim Inspektionsbilder und Masken, während Qwen-Image-Edit saubere Referenzbilder erstellt, die als Golden Images bezeichnet werden.
Cosmos 3 Super nutzt diese Referenzbilder, Fehlermasken und die gewünschten Fehlertypen, um Fehler zu erzeugen und dabei den umliegenden Teil des Bauteils zu erhalten. Das Modell wird für Leiterplatten, Glas und Metall feinabgestimmt ausgeliefert; für andere Anwendungsfälle gibt es weitere Fine-Tuning-Skills. Die Ausgaben umfassen saubere und synthetische Fehlerbilder sowie Manifeste, die die Ergebnisse mit ihrer Quelle und den Einstellungen für die Erzeugung verknüpfen.
Die Blueprints basieren auf den Skills Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation und Orchestration. Dem Beitrag zufolge lassen sich diese Skills einzeln nutzen oder zu benutzerdefinierten Workflows kombinieren.
Quellen
- Originalquelle · Blogbeitrag NVIDIA Technical Blog developer.nvidia.com
Unternehmen in dieser Meldung
Verwandte Meldungen
- NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen
- NVIDIA nimmt mit Daviator Engpässe bei Materialberechnungen ins Visier
- Humyn Labs sammelt 47 Millionen US-Dollar ein, um seine Roboterdaten-Aktivitäten auszubauen
- MegaRobo sammelt knapp 200 Millionen US-Dollar für physische KI-Systeme ein
- Google Cloud erläutert KI-Metadatenextraktion für Speicherobjekte