Vai al contenuto
AI.info

Ricerca

Un prior, due dinamiche: riadattare i transformer di diffusione video per l’apprendimento auto-supervisionato di azioni latenti

I video rivelano come cambia il mondo, ma raramente mostrano le azioni che causano questi cambiamenti. L’apprendimento di azioni latenti ricava questa supervisione dalle transizioni visive, ma spesso…

arXiv
2611.26617
Pubblicato
2026-11-19
Autori
Yuxin Jiang, Wenqiang Sun, Jiaqi Li, Yuchao Gu, Lvmin Zhang, Ivor Tsang, Mike Zheng Shou

Abstract degli autori

I video rivelano come cambia il mondo, ma raramente mostrano le azioni che causano questi cambiamenti. L’apprendimento di azioni latenti ricava questa supervisione dalle transizioni visive, ma spesso apprende in gran parte da zero le dinamiche sottostanti. Ci chiediamo se un generatore di video preaddestrato possa invece fornire il prior sia per la dinamica inversa sia per quella diretta. Presentiamo O$^{2}$LaF, basato su un principio semplice: un prior, due dinamiche. Inizializziamo entrambi i modelli a partire dallo stesso DiT video preaddestrato e li adattiamo ai rispettivi ruoli: un encoder di transizione feed-forward con query di azione apprendibili per la dinamica inversa e un generatore di video causale, condizionato dalle azioni, per la dinamica diretta. Controllando l’accesso alle informazioni e ottimizzando entrambe le dinamiche end-to-end attraverso un collo di bottiglia compatto, O$^{2}$LaF apprende azioni trasferibili da video senza etichette. Nella navigazione e nella manipolazione robotica, O$^{2}$LaF stabilisce un nuovo stato dell’arte nel probing delle azioni con pochi esempi e consente un trasferimento delle azioni zero-shot più efficace tra diversi contesti visivi e corpi. Oltre ai prior generativi per i video, estendiamo ulteriormente il nostro framework a prior di rappresentazione predittiva come V-JEPA2, ottenendo prestazioni competitive. I nostri risultati suggeriscono un paradigma più ampio per l’apprendimento di azioni latenti: riadattare modelli video preaddestrati per scoprire azioni trasferibili e prevederne le conseguenze.

Il riassunto di questo paper è disponibile solo in inglese: leggilo nella pagina inglese.

Leggi il paper originale su arXiv