The Pulse
NVIDIA amplia Cosmos con strumenti per l’addestramento e la valutazione
NVIDIA ha ampliato Cosmos con blueprint per la generazione di dati, strumenti per l’addestramento dei modelli e checkpoint di simulazione destinati allo sviluppo dell’IA fisica. L’annuncio del 21 ottobre cita anche progetti di partner rigua
AI.info Team · Scritto con l’IA · verificato ·
La suite ampliata di strumenti Cosmos di NVIDIA è progettata per consentire agli sviluppatori di testare sistemi di IA fisica con dati generati e simulazioni interattive prima di provarli nel mondo reale. Il nuovo flusso di lavoro ha però un limite: NVIDIA descrive la distribuzione tramite i suoi microservizi NIM per i modelli Cosmos supportati, mentre i suoi strumenti di addestramento si rivolgono a una gamma più ampia di modelli open source.
L’azienda ha annunciato le novità il 21 ottobre al GTC Berlin, presentando Cosmos come un insieme di strumenti collegati per preparare i dati, adattare i modelli e valutarne il comportamento. Gli esempi spaziano dalla guida autonoma all’ispezione industriale e al monitoraggio video, anche se i dati sulle prestazioni contenuti nell’annuncio sono risultati o previsioni comunicati dall’azienda.
Cinque blueprint per dati di addestramento difficili
Cosmos Data Factory offre ora cinque blueprint cloud-native per preparare o generare dati di addestramento. Riguardano dataset per veicoli autonomi, l’arricchimento degli attributi delle immagini, video sintetici di eventi, immagini di difetti per le ispezioni e l’arricchimento di video che modifica le condizioni meteorologiche o l’illuminazione preservando la struttura della scena. NVIDIA afferma che Data Factory è disponibile tramite GitHub, Microsoft Azure, Nebius e CoreWeave.
L’aggiornamento estende inoltre Cosmos Curator, lo strumento di NVIDIA per la cura dei dataset video accelerato da GPU, affinché supporti input multimodali e multisensoriali e blocchi di elaborazione. I blueprint riuniscono etichettatura, cura dei dati, arricchimento e valutazione in un insieme comune di strumenti, mentre le funzionalità degli agenti possono coordinare alcune fasi dell’elaborazione dei dati e della generazione di dati sintetici.
Porsche e ANYbotics mostrano usi diversi
Secondo NVIDIA, Porsche sta usando Cosmos Data Factory tramite Voxel51 su Microsoft Azure per sviluppare un flusso di lavoro condiviso sui dati per i veicoli autonomi tra i marchi di Volkswagen Group. L’azienda prevede che il progetto riduca fino al 90% le prove di guida fisiche ripetute e accorci fino all’85% i cicli di sviluppo; NVIDIA presenta queste cifre come risultati attesi, non come misurazioni già effettuate.
ANYbotics ha generato più di 1.500 clip video sintetiche con i blueprint, usando Encord per curare i dati raccolti nel mondo reale e convalidare i risultati. Il materiale è destinato ad aiutare i robot dell’azienda per l’ispezione industriale a riconoscere sversamenti di liquidi e altri cambiamenti tra una visita e l’altra agli impianti. Ultralytics, nel frattempo, ha riaddestrato il suo modello YOLO con immagini reali e immagini sintetiche di difetti mirati; NVIDIA afferma che il lavoro ha migliorato la localizzazione dei difetti e il recall, ma non fornisce risultati numerici.
Gli strumenti di addestramento si estendono oltre i modelli Cosmos
Cosmos Framework aggiunge strumenti e procedure per l’addestramento, l’ottimizzazione e la distribuzione sotto forma di funzionalità degli agenti. Gli sviluppatori possono effettuare il fine-tuning di modelli open source, usare l’apprendimento per rinforzo e applicare la distillazione e la quantizzazione. NVIDIA cita GR00T, Alpamayo, Qwen e Pi0.5 tra i modelli che gli sviluppatori possono adattare, insieme ad altri modelli compatibili su Hugging Face.
Un esempio viene da MicroAGI, che ha sottoposto Cosmos 3 a una fase di addestramento successiva usando video di persone che manipolano oggetti, per un compito di manipolazione egocentrica. Secondo NVIDIA, il laboratorio di ricerca sulla robotica ha distillato un modello di ragionamento da 32 miliardi di parametri in un modello Nano da 8 miliardi di parametri senza perdita di accuratezza. L’annuncio non specifica il metodo di valutazione alla base di questo confronto.
La simulazione anticipa i test delle policy rispetto alla distribuzione
Nuove varianti di Cosmos 3 Nano e il codice che le accompagna supportano simulazioni per le policy dei veicoli autonomi e dei robot bimanuali. Gli sviluppatori possono usare scenari ripetibili, con più visuali e più sensori, per addestrare e valutare le policy prima dei test nel mondo reale, comprese situazioni che potrebbe essere difficile riprodurre al di fuori della simulazione.
Per la distribuzione, NVIDIA afferma che i microservizi Cosmos 3 NIM aggiornati offrono una velocità di inferenza fino a due volte maggiore senza perdita di qualità nelle configurazioni convalidate. Il suo Metropolis Blueprint per la ricerca e la sintesi dei video, nella versione 3.3, usa Cosmos NIM ed è descritto come uno strumento che consente ai team di monitorare il 40% di flussi video in più sulla stessa GPU. Queste cifre si riferiscono alle configurazioni convalidate indicate da NVIDIA e alle prestazioni dichiarate per il blueprint, non a ogni modello o carico di lavoro.
L’architettura descritta da NVIDIA è modulare: Data Factory prepara i dataset, Framework addestra o adatta i modelli e NIM eroga i modelli Cosmos supportati. Il rilascio amplia gli strumenti disponibili per la generazione di dati e la valutazione delle policy, mentre il percorso di distribuzione indicato dall’azienda resta legato a quell’insieme di modelli supportati.