Forschung
Ein Prior, zwei Dynamiken: Videodiffusions-Transformer für das selbstüberwachte Lernen latenter Aktionen umnutzen
Videos zeigen, wie sich die Welt verändert, aber nur selten die Aktionen, die diese Veränderungen verursachen. Latentes Aktionslernen erschließt solche Lernsignale aus visuellen Übergängen, lernt die…
- arXiv
- 2611.26617
- Veröffentlicht
- 2026-11-19
- Autoren
- Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou
Abstract der Autoren
Videos zeigen, wie sich die Welt verändert, aber nur selten die Aktionen, die diese Veränderungen verursachen. Latentes Aktionslernen erschließt solche Lernsignale aus visuellen Übergängen, lernt die zugrunde liegende Dynamik jedoch oft größtenteils von Grund auf. Wir untersuchen, ob ein vortrainierter Videogenerator stattdessen den Prior für inverse und Vorwärtsdynamik liefern kann. Wir stellen O$^{2}$LaF vor, das auf einem einfachen Prinzip beruht: ein Prior, zwei Dynamiken. Beide Modelle werden mit demselben vortrainierten Video-DiT initialisiert und an ihre jeweiligen Aufgaben angepasst: ein Feedforward-Übergangsencoder mit lernbaren Aktions-Queries für die inverse Dynamik und ein kausaler, aktionskonditionierter Videogenerator für die Vorwärtsdynamik. Indem der Informationszugriff gesteuert und beide Dynamiken über einen kompakten Bottleneck Ende zu Ende optimiert werden, lernt O$^{2}$LaF übertragbare Aktionen aus unbeschrifteten Videos. Bei Navigation und robotischer Manipulation setzt O$^{2}$LaF einen neuen Stand der Technik beim Few-Shot-Probing von Aktionen und ermöglicht einen stärkeren Zero-Shot-Transfer von Aktionen über visuelle Kontexte und Verkörperungen hinweg. Über generative Video-Priors hinaus erweitern wir unseren Rahmen auch auf Priors prädiktiver Repräsentationen wie V-JEPA2 und erzielen damit konkurrenzfähige Leistung. Unsere Ergebnisse deuten auf ein umfassenderes Paradigma für das Lernen latenter Aktionen hin: Vortrainierte Videomodelle werden umgenutzt, um übertragbare Aktionen zu entdecken und deren Folgen vorherzusagen.
Die Zusammenfassung dieses Papers gibt es nur auf Englisch: auf der englischen Seite lesen.
Das Originalpaper auf arXiv lesen