Pesquisa
Um prior, duas dinâmicas: reaproveitamento de transformadores de difusão de vídeo para aprendizado autossupervisionado de ações latentes
Os vídeos revelam como o mundo muda, mas raramente mostram as ações que provocam essas mudanças. O aprendizado de ações latentes recupera essa supervisão a partir de transições visuais, mas muitas…
- arXiv
- 2611.26617
- Publicado
- 2026-11-19
- Autores
- Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou
Resumo dos autores
Os vídeos revelam como o mundo muda, mas raramente mostram as ações que provocam essas mudanças. O aprendizado de ações latentes recupera essa supervisão a partir de transições visuais, mas muitas vezes aprende a dinâmica subjacente praticamente do zero. Perguntamos se, em vez disso, um gerador de vídeo pré-treinado poderia fornecer o prior tanto para a dinâmica inversa quanto para a direta. Apresentamos o O$^{2}$LaF, baseado em um princípio simples: um prior, duas dinâmicas. Inicializamos os dois modelos a partir do mesmo DiT de vídeo pré-treinado e os adaptamos às suas funções distintas: um codificador de transições feed-forward com consultas de ação aprendíveis para a dinâmica inversa e um gerador de vídeo causal condicionado à ação para a dinâmica direta. Ao controlar o acesso à informação e otimizar as duas dinâmicas de ponta a ponta por meio de um gargalo compacto, o O$^{2}$LaF aprende ações transferíveis a partir de vídeos sem rótulos. Em navegação e manipulação robótica, o O$^{2}$LaF estabelece um novo estado da arte em sondagem de ações com poucas amostras e possibilita uma transferência zero-shot de ações mais eficaz entre contextos visuais e configurações físicas. Além dos priors de vídeo generativo, também estendemos nossa estrutura a priors de representação preditiva, como o V-JEPA2, alcançando desempenho competitivo. Nossos resultados sugerem um paradigma mais amplo para o aprendizado de ações latentes: reaproveitar modelos de vídeo pré-treinados para descobrir ações transferíveis e prever suas consequências.
O resumo deste paper está disponível apenas em inglês: leia na página em inglês.
Ler o paper original no arXiv