The Pulse
NVIDIA aggiunge quattro checkpoint a pesi aperti di Cosmos 3 per la simulazione interattiva di mondi
NVIDIA ha aggiunto quattro checkpoint a pesi aperti alla famiglia di modelli Cosmos 3 per la simulazione interattiva di mondi, tra cui modelli per la guida e la robotica a due bracci. Tutti e quattro hanno 16 miliardi di parametri addestrab
AI.info Team · Scritto con l’IA · verificato ·
NVIDIA ha aggiunto quattro nuovi checkpoint a pesi aperti alla famiglia di modelli Cosmos 3 per la simulazione interattiva di mondi. In un post pubblicato il 5 novembre, l’azienda ha dichiarato che i modelli generano scene di guida multisensore e multivista oppure prevedono video a partire dalle azioni di un robot o di una telecamera. Tutti e quattro sono esempi di Cosmos 3 Nano sottoposti a post-addestramento, con 16 miliardi di parametri addestrabili.
I modelli utilizzano OpenMDW1.1, che ne consente l’uso commerciale e non commerciale secondo i suoi termini. I quattro modelli sono Cosmos3-Nano-Transfer-Auto, Cosmos3-Nano-Sim-Auto, Cosmos3-Nano-Sim-Transfer e Cosmos3-Nano-Sim-Bimanual.
Cosmos 3 collega i controlli di guida ai dati dei sensori
Transfer-Auto genera video sincronizzati da un massimo di 11 punti di vista delle telecamere, comprese quelle fisheye, e supporta la generazione congiunta di RGB e LiDAR. I controlli World Scenario Map (WSM) per ciascuna telecamera specificano la struttura della scena e il movimento del traffico, mentre i prompt testuali ne guidano l’aspetto. Immagini RGB iniziali, facoltative, possono fissare l’aspetto della scena; la generazione congiunta di LiDAR utilizza inoltre controlli basati su mappe di distanza allineate di mappe HD.
Sim-Auto è la variante in streaming di Transfer-Auto ottenuta tramite distillazione causale. Genera in pochi passaggi di denoising piccoli segmenti successivi di video sincronizzati delle telecamere e dati LiDAR, usando la cronologia generata e i controlli di guida aggiornati. L’interazione a ciclo chiuso richiede un ambiente di esecuzione della simulazione e un renderer WSM per aggiornare tali controlli a partire dagli input di guida.
Due modelli di simulazione per il rendering e le azioni dei robot
Sim-Transfer riceve controlli spaziali da un simulatore fisico e un prompt testuale e genera osservazioni a colori utilizzabili da una policy. I controlli comprendono profondità, segmentazione, contorni e sfocatura, mentre il testo guida l’aspetto. La fisica e lo stato di riferimento rimangono affidati al simulatore.
Sim-Bimanual simula l’evoluzione di un ambiente in risposta alle azioni di un robot a due bracci. Supporta la simulazione interattiva a due bracci per le configurazioni fisiche YAM e AgiBot, controllate da una policy o da joystick azionati da esseri umani, e una stessa sequenza di controllo può alternare cambi di punto di vista e manipolazione. Il suo esempio di azioni miste usa 59 valori di controllo, portati a 64 tramite padding durante l’addestramento.
I modelli in streaming prevedono per segmenti
L’architettura portante Mixture-of-Transformers di Cosmos 3 collega, attraverso il meccanismo di attenzione, reti separate per l’elaborazione del testo e la generazione visiva. Il generatore prevede ogni breve segmento a partire dal prompt, dai controlli disponibili e dalla cronologia generata. L’attenzione temporale causale blocca l’accesso alle osservazioni future da prevedere, mentre una cache chiave/valore conserva le informazioni di attenzione per la previsione successiva.
Il modello opera su rappresentazioni video compresse dette latenti; dopo l’immagine iniziale, ogni passo temporale latente rappresenta quattro fotogrammi RGB. Transfer prevede un passo per segmento, mentre la configurazione ottimizzata di Bimanual descritta nel rapporto ne prevede due. Segmenti più piccoli consentono ai nuovi controlli di influire più spesso sulla generazione.
Quattro fasi di addestramento preparano i modelli all’adattamento
Le procedure di post-addestramento comprendono adattamento bidirezionale, teacher forcing, distillazione di consistenza e self-forcing. Nella fase di distillazione, un modello teacher congelato addestra un modello student a generare ogni segmento in quattro passaggi di denoising. Il self-forcing usa per l’addestramento la cronologia generata dallo student, poiché un oggetto previsto in modo leggermente errato diventa contesto per i fotogrammi successivi e gli errori possono quindi accumularsi.
Le procedure partono da Cosmos3-Nano o da pesi di base compatibili e coprono tutte e quattro le fasi. Per una nuova configurazione di sensori o un nuovo dominio, Transfer-Auto viene prima adattato e poi distillato in Sim-Auto, attraverso addestramento causale e distillazione in pochi passaggi. Per Sim-Bimanual, la procedura comprende la validazione dei dati, le configurazioni delle fasi, il passaggio dei checkpoint da una fase all’altra e l’esportazione.
Per Sim-Bimanual, l’esecuzione della configurazione vLLM-Omni pubblicata richiede Linux, una GPU NVIDIA, Docker e NVIDIA Container Toolkit; è stata testata su un GB200 e NVIDIA precisa che questo non costituisce un requisito minimo di memoria. NVIDIA consiglia di valutare la qualità su episodi esclusi dall’addestramento, osservando che una breve esecuzione riuscita verifica il funzionamento, non la convergenza.