Modellazione delle azioni nel mondo con pianificazione visiva progressiva

Abstract degli autori

I modelli di azione del mondo (WAM) si sono affermati come un approccio promettente al controllo robotico: a partire da un’osservazione iniziale e da un’istruzione, prevedono congiuntamente la futura evoluzione visiva e le azioni. Tuttavia, i WAM esistenti faticano a fare previsioni su orizzonti temporali lunghi, perché generare sequenze video dense è molto inefficiente. Alcuni WAM recenti affrontano il problema prevedendo un singolo fotogramma futuro senza generare l’intero video, ma questo approccio trascura come procedere verso l’obiettivo. Presentiamo ProWAM, un modello di azione del mondo progressivo che prevede congiuntamente le azioni e una sequenza ordinata di sotto-obiettivi visivi sparsi, offrendo indicazioni visive esplicite a cui ancorare la generazione delle azioni durante tutta l’esecuzione del compito. Questa soluzione si presta naturalmente a un’applicazione su scala più ampia, poiché la previsione dei sotto-obiettivi può essere appresa da grandi raccolte di video senza dati sulle azioni, permettendo al backbone video di farsi carico della complessa pianificazione visiva al posto della policy di azione. Per generare le azioni in modo efficiente, ProWAM esegue una sola passata del backbone video per memorizzare nella cache le caratteristiche dei sotto-obiettivi sparsi, eliminando la generazione iterativa dell’intero video e richiedendo soltanto un leggero denoising delle azioni durante la ripianificazione. In valutazioni approfondite, ProWAM mostra una robustezza superiore fuori distribuzione. Nei benchmark di simulazione stabilisce nuovi risultati allo stato dell’arte su LIBERO-Plus (85,8%) e su RoboTwin randomizzato (75,7%), superando la migliore baseline con incrementi relativi fino al +35,9%. Su RoboCasa365, ProWAM raggiunge un tasso di successo del 48,1% e del 18,2% nella difficile partizione Composite-Unseen, classificandosi al 4º posto assoluto. Negli esperimenti zero-shot nel mondo reale, ProWAM raggiunge un tasso di successo del 70,0% in scene inedite, superando la migliore baseline di +15,0 punti percentuali (dal 55,0% al 70,0%, un incremento relativo del +27,3%). Questi risultati dimostrano il valore di una previsione visiva indicizzata in base all’avanzamento per il controllo a ciclo chiuso. Il nostro programma si trova su https://sii-ferenas.github.io/ProWAM-page.