Modello di azioni latenti ancorato allo scheletro per i modelli del mondo dei robot

Abstract degli autori

I modelli del mondo dei robot simulano come gli ambienti evolvono in risposta alle azioni dei robot. I modelli di azioni latenti permettono di apprendere le dinamiche dai video codificando le transizioni visive come azioni sostitutive. Tuttavia, le azioni latenti apprese tramite ricostruzione mescolano il movimento del robot con le risposte degli oggetti e altri cambiamenti della scena, rendendo più difficile associarle ai comandi del robot. Proponiamo SkeLAM, un modello di azioni latenti guidato dallo scheletro per costruire modelli del mondo dei robot controllabili. SkeLAM scompone le azioni latenti in una componente cinematica ancorata alla supervisione basata sullo scheletro del robot e una componente residua che conserva le dinamiche visive complementari. La ricostruzione con scambio tra modalità favorisce l’intercambiabilità delle rappresentazioni cinematiche derivate dalle immagini RGB e di quelle derivate dallo scheletro durante la ricostruzione video. Il modello del mondo incorpora entrambe le componenti attraverso percorsi di condizionamento separati, mentre il dropout dei rami riduce la sua dipendenza dalle informazioni residue ricavate dal futuro. Un adapter leggero mappa le azioni del robot nello spazio cinematico e un successivo fine-tuning del modello del mondo adatta la generazione a queste condizioni previste. Durante l’inferenza, il modello genera osservazioni future a partire dall’osservazione corrente e dalle azioni del robot. Su DROID, SkeLAM riduce l’ADE dell’effettore finale del 19,5% e l’LPIPS dell’11,1% rispetto a DreamDojo. I test sul movimento confermano la specializzazione cinematica, mentre i risultati qualitativi mostrano, nei rollout generati, il trasferimento zero-shot del movimento dall’essere umano al robot. La valutazione della policy mostra una concordanza tra i tassi di successo previsti e quelli misurati nelle esecuzioni su robot reali.