EgoGeneralist: unificare i compiti egocentrici di azione-video attraverso una modellazione nativa per il video

Abstract degli autori

I moderni modelli video dispongono di forti prior visivi, ma non rappresentano nativamente l’azione umana nello spazio 3D metrico. Presentiamo EgoGeneralist, che adatta generatori video preaddestrati per unificare la generazione di video egocentrici condizionata all’azione, la stima della posa e la generazione congiunta di azione e video. Il nostro renderer di azioni adattivo ai ruoli fornisce rappresentazioni native per il video per l’apprendimento multidirezionale di azione-video, rendendo il movimento metrico utilizzabile sia come segnale di controllo spaziale sia come obiettivo di generazione recuperabile. L’accoppiamento tra i flussi di azione e video stabilisce una stretta corrispondenza tra il movimento metrico e le dinamiche visive tramite un adattamento leggero, preservando al contempo il prior visivo preaddestrato. Nel loro insieme, queste soluzioni definiscono un framework generalista che comprende cinque compiti di azione-video. Sebbene l’adattamento avvenga solo su registrazioni controllate in laboratorio, EgoGeneralist si generalizza a scene e interazioni diverse e mai viste, con un controllo efficace dell’azione e qualità visiva, colmando il divario tra la conoscenza visiva preaddestrata e il movimento umano metrico in 3D.