Investigación
Un prior, dos dinámicas: reutilización de transformadores de difusión de video para el aprendizaje autosupervisado de acciones latentes
Los videos revelan cómo cambia el mundo, pero rara vez muestran las acciones que provocan esos cambios. El aprendizaje de acciones latentes recupera esa supervisión a partir de transiciones visuales…
- arXiv
- 2611.26617
- Publicado
- 2026-11-19
- Autores
- Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou
Resumen de los autores
Los videos revelan cómo cambia el mundo, pero rara vez muestran las acciones que provocan esos cambios. El aprendizaje de acciones latentes recupera esa supervisión a partir de transiciones visuales, pero a menudo aprende la dinámica subyacente en gran medida desde cero. Nos preguntamos si, en su lugar, un generador de video preentrenado puede proporcionar el prior tanto para la dinámica inversa como para la directa. Presentamos O$^{2}$LaF, basado en un principio sencillo: un prior, dos dinámicas. Inicializamos ambos modelos a partir del mismo DiT de video preentrenado y los adaptamos a sus distintas funciones: un codificador de transiciones feed-forward con consultas de acción aprendibles para la dinámica inversa, y un generador de video causal condicionado por acciones para la dinámica directa. Al controlar el acceso a la información y optimizar ambas dinámicas de extremo a extremo mediante un cuello de botella compacto, O$^{2}$LaF aprende acciones transferibles a partir de videos sin etiquetar. En navegación y manipulación robótica, O$^{2}$LaF establece un nuevo estado del arte en el sondeo de acciones con pocos ejemplos y permite una transferencia de acciones sin ejemplos más sólida entre contextos visuales y configuraciones corporales. Más allá de los priors generativos de video, ampliamos además nuestro marco a priors de representación predictiva, como V-JEPA2, con los que logramos un rendimiento competitivo. Nuestros hallazgos apuntan a un paradigma más amplio para el aprendizaje de acciones latentes: reutilizar modelos de video preentrenados para descubrir acciones transferibles y predecir sus consecuencias.
El resumen de este paper solo está disponible en inglés: léelo en la página en inglés.
Leer el paper original en arXiv