DreamX: un modello di diffusione video è un apprendente universale di azioni latenti

Abstract degli autori

Apprendere una rappresentazione universale delle azioni dai video richiede di modellare dinamiche coerenti tra diverse esecuzioni della stessa azione, ma al contempo invarianti rispetto ai cambiamenti di embodiment e di aspetto. I modelli esistenti di azioni latenti inferiscono le azioni dalle transizioni visive, ma spesso le loro rappresentazioni intrecciano l’azione sottostante con variazioni visive irrilevanti, limitando il trasferimento tra embodiment. Presentiamo DreamX, che riadatta un modello di diffusione video preaddestrato per apprendere azioni latenti universali. Il nostro approccio estrae azioni latenti compatte dalle ricche caratteristiche spazio-temporali del modello video, comprimendo ogni fotogramma video latente di $\boldsymbol{300\times}$ ($\boldsymbol{1{,}200 \rightarrow 4}$ token). Inoltre, sfruttando il prior generativo del modello video, queste azioni latenti catturano dinamiche rilevanti per l’azione, disaccoppiate dall’aspetto visivo. Lo spazio latente risultante funge da interfaccia condivisa per le azioni tra embodiment (umani e robot), ambienti e parametrizzazioni delle azioni. Su LARY-Bench, DreamX raggiunge prestazioni allo stato dell’arte tra i modelli di azioni latenti. Inoltre, le azioni codificate in una configurazione restano efficaci in un’altra: lo spazio latente supporta il trasferimento video da qualsiasi configurazione a qualsiasi altra e il trasferimento zero-shot delle azioni tra diversi embodiment e ambienti. Questa interfaccia condivisa consente inoltre di apprendere policy in uno spazio compatto di azioni latenti, riducendo il costo computazionale delle policy basate sulla diffusione video.