# NVIDIA illustra un flusso di lavoro basato su due prompt per addestrare l’IA fisica con dati

Published 2026-11-19 · AI.info Team · AI.info

> NVIDIA ha illustrato come configurare ed eseguire flussi di lavoro con dati per l’IA fisica tramite due prompt rivolti a un agente di programmazione. Cosmos Data Factory offre cinque blueprint di riferimento per attività che includono scenari di guida, video di eventi rari e immagini di difetti.

Gli sviluppatori possono usare due prompt per configurare ed eseguire flussi di lavoro che preparano dati di addestramento per l’IA fisica, tra cui scene di guida sintetiche e immagini di difetti. In un post tecnico del 18 novembre, [NVIDIA](https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos/) descrive l’approccio per Cosmos Data Factory, che si avvale di un agente di programmazione per configurare l’ambiente e svolgere un’attività selezionata.

Il sistema comprende cinque blueprint di riferimento cloud-native e sei skill componibili per curare, elaborare e generare dati. La guida illustra come ampliare dataset esistenti e creare esempi di eventi o difetti che potrebbe essere difficile acquisire.

## Dalla configurazione a un dataset

Un primo prompt chiede all’agente di programmazione di clonare il repository di orchestrazione e di eseguire i controlli preliminari e la configurazione. I controlli preliminari verificano l’ambiente senza modificarlo e segnalano i requisiti mancanti; la configurazione prepara quindi l’ambiente per eseguire i blueprint.

Un secondo prompt seleziona un blueprint e specifica il lavoro sui dati di addestramento. La skill di orchestrazione coordina le fasi del flusso di lavoro, distribuisce i servizi necessari e gestisce l’esecuzione sul cluster dell’utente.

Il post propone esempi che usano immagini o video di uno sviluppatore come input e specificano una posizione di output. A seconda del blueprint, il flusso di lavoro può generare varianti, verificarle e associarvi etichette per l’addestramento.

## Varianti di guida e video

Per i veicoli autonomi, un blueprint cerca in un database scenari di guida e genera dataset per l’addestramento e la convalida dei modelli. Cosmos Curator estrae metadati dai video di input, mentre Cosmos Dataset Search trova filmati pertinenti tramite embedding.

I video recuperati vengono sottoposti al trasferimento di stile Cosmos3-Super-Image2Video, mentre Cosmos Evaluator ne verifica la plausibilità fisica. Un esempio di richiesta chiede di trasformare in condizioni di pioggia, neve e nebbia le scene che corrispondono a un video di input, preservandone la disposizione e il movimento.

Un altro blueprint crea varianti di immagini ritagliate di persone, modificando attributi come abbigliamento, accessori e colore. Un modello linguistico trasforma gli attributi selezionati in prompt strutturati; il flusso di lavoro verifica la presenza degli attributi di abbigliamento richiesti e assegna ai risultati etichette con attributi e query di ricerca per la ricerca di persone e la re-identificazione.

Il blueprint per l’aumento dei dati video modifica il meteo, l’illuminazione o le condizioni ambientali nei filmati esistenti, preservando la struttura della scena. Cosmos3-Nano genera la variante e l’evaluator verifica la presenza di artefatti di movimento aggiunti, delle condizioni richieste e di un movimento fisicamente plausibile. Il flusso di lavoro assegna quindi etichette sia ai video di origine sia a quelli generati, con rilevamenti, tracciamenti e didascalie.

## Eventi rari e difetti

Per gli eventi rari, un blueprint distinto parte da un’immagine e genera video di scenari come cadute, incendi o taccheggi. Un modello visione-linguaggio combina una descrizione della scena con l’evento richiesto, mentre Cosmos3-Super-Image2Video genera una clip che preserva il punto di vista e la disposizione dell’immagine di origine.

Le clip generate vengono verificate per accertare la presenza dell’evento richiesto e di un movimento fisicamente plausibile; quelle che non superano la verifica vengono generate di nuovo. Alle clip approvate vengono assegnati rilevamenti, tracciamenti, didascalie e annotazioni semantiche per l’addestramento successivo.

Un quinto blueprint produce esempi di difetti a partire da immagini di ispezione senza difetti o da asset USD 3D di componenti come circuiti stampati, pannelli di vetro e superfici metalliche. Per gli asset 3D, Isaac Sim genera immagini e maschere di ispezione, mentre Qwen-Image-Edit crea immagini di riferimento senza difetti, note come golden image.

Cosmos 3 Super usa tali riferimenti, le maschere dei difetti e i tipi di difetto richiesti per generare difetti preservando il resto del componente. Il modello viene fornito già sottoposto a fine-tuning per circuiti stampati, vetro e metallo, con ulteriori skill di fine-tuning per altri usi. Gli output includono immagini senza difetti e immagini sintetiche con difetti, oltre a manifest che collegano i risultati alla fonte e alle impostazioni di generazione.

I blueprint sono realizzati con le skill Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation e Orchestration. Il post afferma che queste skill possono essere usate singolarmente o combinate in flussi di lavoro personalizzati.

## Fonti

1. Fonte originale · Post del blog [NVIDIA Technical Blog](https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos/) developer.nvidia.com

## Aziende in questa notizia

- [Nvidia](https://ai.info/it/companies/nvidia)

## Notizie correlate

- [AWS aggiunge strumenti di preparazione dei dati per l’IA a SageMaker AI](https://ai.info/it/news/aws-sagemaker-ai-data-preparation-tools)
- [Humyn Labs raccoglie 47 milioni di dollari per ampliare le attività di raccolta dati per i robot](https://ai.info/it/news/humyn-labs-47-million-physical-ai-series-a)
- [MegaRobo raccoglie quasi 200 milioni di dollari per sistemi di IA fisica](https://ai.info/it/news/megarobo-nearly-200-million-physical-ai-funding)
- [Agile Robots raccoglie 500 milioni di dollari con una valutazione di 8,5 miliardi di dollari](https://ai.info/it/news/agile-robots-500-million-series-f-8-5-billion-valuation)
- [SK hynix ottiene una certificazione di sicurezza per LPDDR5X e una di cybersicurezza](https://ai.info/it/news/sk-hynix-memory-functional-safety-cybersecurity-certifications)

## Esplora

[Altri articoli](https://ai.info/it/news)

---

Canonical: https://ai.info/it/news/nvidia-cosmos-two-prompt-physical-ai-data
