WAVE-0: un ponte tra le policy VLA e i WAM grazie a una previsione leggera del futuro nello spazio latente

Abstract degli autori

Le policy visione-linguaggio-azione (VLA) eccellono nella manipolazione robotica generalista, ma generano azioni senza modellarne esplicitamente le conseguenze sull’ambiente. I modelli del mondo orientati alle azioni (WAM) includono la previsione del futuro, ma la maggior parte si affida alla costosa generazione di video. Le alternative basate su rappresentazioni latenti, invece, usano i futuri previsti solo come obiettivi ausiliari oppure inferiscono azioni latenti da transizioni visive subottimali attraverso un costoso preaddestramento su video su larga scala. Presentiamo WAVE-0 (World-model-Augmented VLA Execution), un framework che collega le VLA ai WAM tramite un modello del mondo leggero basato su rappresentazioni latenti. Collegando la comprensione semantica delle VLA preaddestrate alla previsione esplicita del futuro, WAVE-0 permette alle conseguenze previste delle azioni di guidarne direttamente la generazione. Costruito a partire da una VLA preaddestrata, il suo modello del mondo da 257M parametri traduce i piani di azione latenti generati dal VLM in rappresentazioni future previste che condizionano l’esperto delle azioni, unificando pianificazione latente, previsione del futuro e generazione delle azioni. Il modello del mondo viene addestrato direttamente sulle azioni effettive del robot con una funzione obiettivo di ordinamento controfattuale, senza richiedere né la ricostruzione dei pixel né il preaddestramento su video su larga scala. WAVE-0 raggiunge tassi di successo del 91,47% su RoboTwin 2.0 e del 98,7% su LIBERO, oltre che dell’88,0%, del 61,4% e del 75,0% rispettivamente su LIBERO-Plus, LIBERO-Pro e LIBERO-Para. Nei compiti del mondo reale, porta il tasso di successo di $π_{0.5}$ dal 38,3% al 73,3%. Questi risultati dimostrano prestazioni elevate nella manipolazione e capacità di generalizzare a diversi cambiamenti di distribuzione.