UNITAS: un modello di azione del mondo nativo 3D per la manipolazione con agenti incarnati

Abstract degli autori

I modelli di azione del mondo (WAM) cercano di rispondere a una domanda fisica con due aspetti strettamente legati: data un’istruzione per un compito, quale movimento deve eseguire il robot e come cambierà il mondo circostante in seguito a quel movimento? La maggior parte dei WAM esistenti si basa su generatori video preaddestrati e rappresenta l’evoluzione del mondo attraverso immagini o rappresentazioni visive latenti. L’interazione robotica, però, avviene in uno spazio tridimensionale metrico, mentre le immagini sono proiezioni dipendenti dal punto di vista, nelle quali le distanze tra pixel non codificano direttamente le distanze fisiche. Presentiamo UNITAS, a nostra conoscenza il primo modello di azione del mondo nativo 3D che, in ogni interazione, unifica osservazioni, azioni e dinamiche della scena in un sistema di riferimento 3D metrico condiviso, usando una rappresentazione comune per diverse morfologie robotiche e per le mani umane. Il flusso delle azioni rappresenta le mani umane e le pinze robotiche come traiettorie di punti 3D, mentre il flusso della scena descrive gli spostamenti dei punti della scena condizionati da queste traiettorie. Gli embedding posizionali 3D allineati al mondo ancorano i token visivi, con o senza dati di profondità in ingresso, e un tokenizzatore di traiettorie basato sul tempo fisico codifica ciascuna traiettoria di un punto come un singolo token ancorato alla sua posizione 3D attuale. Questa interfaccia consente sia l’esecuzione diretta delle azioni sia la predizione della scena condizionata dalle azioni. Con 1,7 miliardi di parametri, UNITAS ottiene su RoboTwin i migliori risultati nella predizione della scena condizionata dalle azioni tra i metodi confrontati, con errori di spostamento fino al 49% inferiori rispetto a PointWorld, e risultati all’avanguardia nei compiti di manipolazione, tra cui un tasso di successo del 99,8% su LIBERO e una media dell’85% nei compiti del mondo reale. Il codice è disponibile all’indirizzo https://github.com/DexForce/UNITAS.