La modellazione del mondo e quella delle azioni possono trarre beneficio l’una dall’altra con un addestramento causale unificato?

Abstract degli autori

La modellazione del mondo e quella delle azioni sono strettamente legate, ma non è ancora chiaro se possano trarre benefici reciproci da un addestramento causale unificato. Presentiamo OneWM, un semplice framework per l’addestramento causale unificato che, in un’architettura condivisa per video e azioni, tratta le azioni sia come condizioni per prevedere il mondo sia come obiettivi per l’apprendimento delle policy. Con questo framework esaminiamo se apprendere le dinamiche future condizionate da azioni specificate migliori l’apprendimento delle azioni e se, a sua volta, apprendere a generare azioni migliori la modellazione del mondo condizionata dalle azioni. Usiamo LIBERO, LIBERO-Plus e RoboCasa365 come banchi di prova per sistemi incarnati, valutando sia l’apprendimento delle policy sia la modellazione del mondo e affiancando a queste valutazioni esperimenti sulle policy nel mondo reale. Apprendere le conseguenze visive di azioni specificate migliora le prestazioni delle policy e la loro capacità di generalizzare a scene che cambiano. A sua volta, l’apprendimento delle azioni migliora la fedeltà delle previsioni del mondo da più punti di vista con la stessa architettura. Nel complesso, questi risultati danno una risposta positiva a entrambe le domande e indicano che la modellazione del mondo e la generazione di azioni traggono benefici reciproci dall’addestramento causale unificato.