Uranus: costruire l’infrastruttura di simulazione di nuova generazione per l’IA incarnata

Abstract degli autori

La simulazione scalabile è essenziale per generare dati per i robot, addestrare le policy, valutarle e iterare in sicurezza; tuttavia, interagire con il mondo reale è costoso e costruire simulatori tradizionali richiede molto lavoro. Presentiamo Uranus, un simulatore robotico basato sui dati e costruito attorno a un modello di diffusione autoregressivo condizionato dalle traiettorie dei giunti. Uranus offre tre funzionalità chiave: (1) esecuzione in streaming a orizzonte aperto, che riceve online le traiettorie future delle posizioni dei giunti e genera autoregressivamente un fotogramma latente a ogni passaggio, corrispondente a quattro fotogrammi RGB, senza un orizzonte fisso; (2) generazione a bassa latenza, che raggiunge 24 FPS dopo l’ottimizzazione dell’inferenza; e (3) controllo robotico scalabile ed estensibile, con un’interfaccia unificata per la generazione sincronizzata multi-view con diverse configurazioni robotiche e di telecamere. Conduciamo valutazioni quantitative e qualitative approfondite su dati sia in distribuzione sia fuori distribuzione, fornendo una valutazione obiettiva di Uranus e individuandone chiaramente i limiti attuali. Rendiamo disponibili il codice e i pesi del modello per offrire alla comunità strumenti pratici e spunti utili.