WorldBridge: collegare video e azione per generalizzare i compiti nei World Action Models

Abstract degli autori

Ottenere un’ampia generalizzazione dei compiti da parte dei modelli incarnati in ambienti fisici resta una sfida centrale nell’apprendimento robotico. Affrontiamo questa sfida nei World Action Models (WAM) attraverso due capacità complementari: la generalizzazione video, che prevede l’evoluzione visiva di nuovi compiti, e la generalizzazione delle azioni, che traduce queste previsioni in comportamenti eseguibili attraverso un ponte dal video all’azione. Variando la supervisione video e quella sulle azioni per compiti che non rientrano in un insieme iniziale di addestramento, esaminiamo il contributo specifico di ciascuna al trasferimento tra compiti. Su RoboTwin 2.0, usando soltanto una supervisione video-azione in distribuzione, il tasso di successo sui compiti fuori distribuzione è del 25,07%. L’introduzione di video di questi compiti senza le relative etichette delle azioni porta il tasso di successo al 55,90%, mentre aggiungere una sola dimostrazione con etichette delle azioni per ciascun compito lo migliora ulteriormente, portandolo al 70,70%. Questi risultati suggeriscono che una copertura video più ampia consente il trasferimento tra compiti sfruttando le capacità di dinamica inversa già esistenti, mentre anche una supervisione sulle azioni, pur scarsa, rafforza ulteriormente tali capacità. Sulla base di questa prospettiva, introduciamo WorldBridge, un WAM con esperti separati per video e azioni, collegati tramite attenzione strutturata e addestrati con flow matching congiunto. WorldBridge integra una memoria visiva su due scale temporali e l’action forcing, insieme a una pipeline unificata di elaborazione dei dati che standardizza e filtra traiettorie robotiche eterogenee e supervisioni derivate dalle mani in prospettiva egocentrica. Su diversi benchmark di manipolazione, WorldBridge raggiunge prestazioni allo stato dell’arte tra i metodi confrontati: 96,23% nell’impostazione full data di RoboTwin 2.0 e 80,9% nell’impostazione clean to random, 82,8% su RoboCasa GR1 TableTop e 57,6% su DOMINO Level-1. Il nostro studio mette in luce i ruoli complementari della previsione video e dell’ancoraggio delle azioni nello sviluppo di robot capaci di generalizzare tra compiti.