Recherche
Un a priori, deux dynamiques : réaffecter les transformeurs de diffusion vidéo à l’apprentissage auto-supervisé d’actions latentes
Les vidéos montrent comment le monde change, mais rarement quelles actions provoquent ces changements. L’apprentissage d’actions latentes récupère cette supervision à partir de transitions visuelles…
- arXiv
- 2611.26617
- Publié
- 2026-11-19
- Auteurs
- Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou
Résumé des auteurs
Les vidéos montrent comment le monde change, mais rarement quelles actions provoquent ces changements. L’apprentissage d’actions latentes récupère cette supervision à partir de transitions visuelles, mais apprend souvent en grande partie de zéro la dynamique sous-jacente. Nous nous demandons si un générateur vidéo préentraîné peut plutôt fournir le a priori pour la dynamique inverse et la dynamique directe. Nous présentons O$^{2}$LaF, fondé sur un principe simple : un a priori, deux dynamiques. Nous initialisons les deux modèles à partir du même DiT vidéo préentraîné et les adaptons à leurs rôles distincts : un encodeur de transition à propagation avant doté de requêtes d’action apprenables pour la dynamique inverse, et un générateur vidéo causal conditionné par l’action pour la dynamique directe. En contrôlant l’accès à l’information et en optimisant de bout en bout les deux dynamiques au moyen d’un goulot d’étranglement compact, O$^{2}$LaF apprend des actions transférables à partir de vidéos non étiquetées. Pour la navigation et la manipulation robotique, O$^{2}$LaF établit un nouvel état de l’art en évaluation des actions avec peu d’exemples et permet un transfert d’actions plus performant en zero-shot, dans différents contextes visuels et différentes incarnations. Au-delà des a priori génératifs vidéo, nous étendons également notre cadre aux a priori de représentations prédictives tels que V-JEPA2, avec des performances compétitives. Nos résultats suggèrent un paradigme plus large pour l’apprentissage d’actions latentes : réaffecter des modèles vidéo préentraînés à la découverte d’actions transférables et à la prédiction de leurs conséquences.
Le résumé de cet article n’existe qu’en anglais : le lire sur la page en anglais.
Lire l’article original sur arXiv