LaLa-World: portare su larga scala i modelli del mondo latente con azioni in linguaggio naturale

Abstract degli autori

Questo articolo mostra che i modelli del mondo latente (LWM) in stile JEPA possono apprendere in domini diversi e da fonti di dati differenti adottando l’interfaccia condizionata dal linguaggio dei modelli di generazione video. Dimostriamo che questo approccio costituisce una base efficace ed efficiente per la pianificazione basata sull’immaginazione e il fine-tuning delle policy per compiti a valle. A questo scopo presentiamo LaLa-World, un modello del mondo latente condizionato dal linguaggio che apprende da traiettorie di simulazione e di robot, oltre che da una gamma più ampia di dati di immagini e video. Due scelte progettuali lo rendono possibile. In primo luogo, descriviamo in linguaggio naturale sia le azioni numeriche sia i cambiamenti visivi, consentendo di addestrare congiuntamente un unico predittore del futuro su dataset eterogenei. In secondo luogo, costruiamo il predittore sulla base di un modello linguistico, così che possa interpretare le condizioni espresse in linguaggio naturale mentre predice gli stati latenti futuri. Il predittore risultante ottiene prestazioni medie nella pianificazione MPC superiori a quelle degli LWM esistenti addestrati separatamente per ciascun dominio o compito. L’aggiunta di dati di immagini e video migliora ulteriormente le prestazioni medie nella pianificazione e la robustezza rispetto alla formulazione delle azioni. In un confronto a parità di condizioni con un modello di generazione video basato su RAEv2 usato come riferimento, LaLa-World raggiunge prestazioni di pianificazione comparabili con un costo di addestramento inferiore di $6\times$ e una pianificazione $13.9\times$ più veloce. Oltre alla pianificazione, LaLa-World preaddestrato funge da punto di partenza per LaLa-Policy, che predice congiuntamente azioni e rappresentazioni visive future. LaLa-Policy ottiene prestazioni competitive rispetto a Cosmos Policy su LIBERO e RoboCasa, con un’inferenza fino a $5.5\times$ più veloce.