The Pulse
NVIDIA illustra un flusso di lavoro basato su due prompt per addestrare l’IA fisica con dati
NVIDIA ha illustrato come configurare ed eseguire flussi di lavoro con dati per l’IA fisica tramite due prompt rivolti a un agente di programmazione. Cosmos Data Factory offre cinque blueprint di riferimento per attività che includono scenari di guida, video di eventi rari e immagini di difetti.

Gli sviluppatori possono usare due prompt per configurare ed eseguire flussi di lavoro che preparano dati di addestramento per l’IA fisica, tra cui scene di guida sintetiche e immagini di difetti. In un post tecnico del 18 novembre, NVIDIA descrive l’approccio per Cosmos Data Factory, che si avvale di un agente di programmazione per configurare l’ambiente e svolgere un’attività selezionata.
Il sistema comprende cinque blueprint di riferimento cloud-native e sei skill componibili per curare, elaborare e generare dati. La guida illustra come ampliare dataset esistenti e creare esempi di eventi o difetti che potrebbe essere difficile acquisire.
Dalla configurazione a un dataset
Un primo prompt chiede all’agente di programmazione di clonare il repository di orchestrazione e di eseguire i controlli preliminari e la configurazione. I controlli preliminari verificano l’ambiente senza modificarlo e segnalano i requisiti mancanti; la configurazione prepara quindi l’ambiente per eseguire i blueprint.
Un secondo prompt seleziona un blueprint e specifica il lavoro sui dati di addestramento. La skill di orchestrazione coordina le fasi del flusso di lavoro, distribuisce i servizi necessari e gestisce l’esecuzione sul cluster dell’utente.
Il post propone esempi che usano immagini o video di uno sviluppatore come input e specificano una posizione di output. A seconda del blueprint, il flusso di lavoro può generare varianti, verificarle e associarvi etichette per l’addestramento.
Varianti di guida e video
Per i veicoli autonomi, un blueprint cerca in un database scenari di guida e genera dataset per l’addestramento e la convalida dei modelli. Cosmos Curator estrae metadati dai video di input, mentre Cosmos Dataset Search trova filmati pertinenti tramite embedding.
I video recuperati vengono sottoposti al trasferimento di stile Cosmos3-Super-Image2Video, mentre Cosmos Evaluator ne verifica la plausibilità fisica. Un esempio di richiesta chiede di trasformare in condizioni di pioggia, neve e nebbia le scene che corrispondono a un video di input, preservandone la disposizione e il movimento.
Un altro blueprint crea varianti di immagini ritagliate di persone, modificando attributi come abbigliamento, accessori e colore. Un modello linguistico trasforma gli attributi selezionati in prompt strutturati; il flusso di lavoro verifica la presenza degli attributi di abbigliamento richiesti e assegna ai risultati etichette con attributi e query di ricerca per la ricerca di persone e la re-identificazione.
Il blueprint per l’aumento dei dati video modifica il meteo, l’illuminazione o le condizioni ambientali nei filmati esistenti, preservando la struttura della scena. Cosmos3-Nano genera la variante e l’evaluator verifica la presenza di artefatti di movimento aggiunti, delle condizioni richieste e di un movimento fisicamente plausibile. Il flusso di lavoro assegna quindi etichette sia ai video di origine sia a quelli generati, con rilevamenti, tracciamenti e didascalie.
Eventi rari e difetti
Per gli eventi rari, un blueprint distinto parte da un’immagine e genera video di scenari come cadute, incendi o taccheggi. Un modello visione-linguaggio combina una descrizione della scena con l’evento richiesto, mentre Cosmos3-Super-Image2Video genera una clip che preserva il punto di vista e la disposizione dell’immagine di origine.
Le clip generate vengono verificate per accertare la presenza dell’evento richiesto e di un movimento fisicamente plausibile; quelle che non superano la verifica vengono generate di nuovo. Alle clip approvate vengono assegnati rilevamenti, tracciamenti, didascalie e annotazioni semantiche per l’addestramento successivo.
Un quinto blueprint produce esempi di difetti a partire da immagini di ispezione senza difetti o da asset USD 3D di componenti come circuiti stampati, pannelli di vetro e superfici metalliche. Per gli asset 3D, Isaac Sim genera immagini e maschere di ispezione, mentre Qwen-Image-Edit crea immagini di riferimento senza difetti, note come golden image.
Cosmos 3 Super usa tali riferimenti, le maschere dei difetti e i tipi di difetto richiesti per generare difetti preservando il resto del componente. Il modello viene fornito già sottoposto a fine-tuning per circuiti stampati, vetro e metallo, con ulteriori skill di fine-tuning per altri usi. Gli output includono immagini senza difetti e immagini sintetiche con difetti, oltre a manifest che collegano i risultati alla fonte e alle impostazioni di generazione.
I blueprint sono realizzati con le skill Auto Labeling, AnomalyGen, Augmentation, Curation and Retrieval, Simulation e Orchestration. Il post afferma che queste skill possono essere usate singolarmente o combinate in flussi di lavoro personalizzati.
Fonti
- Fonte originale · Post del blog NVIDIA Technical Blog developer.nvidia.com
Aziende in questa notizia
Notizie correlate
- AWS aggiunge strumenti di preparazione dei dati per l’IA a SageMaker AI
- Humyn Labs raccoglie 47 milioni di dollari per ampliare le attività di raccolta dati per i robot
- MegaRobo raccoglie quasi 200 milioni di dollari per sistemi di IA fisica
- Agile Robots raccoglie 500 milioni di dollari con una valutazione di 8,5 miliardi di dollari
- SK hynix ottiene una certificazione di sicurezza per LPDDR5X e una di cybersicurezza