Separare l’azione dall’osservazione egocentrica per simulare il mondo

Abstract degli autori

Il trasferimento di azioni egocentriche mira a separare l’azione, sul piano semantico, dalle osservazioni egocentriche e a riprodurla in nuovi contesti visivi, rendendo possibili la simulazione scalabile del mondo, l’apprendimento di policy per agenti incarnati e la generazione di dati robotici. Gli approcci esistenti al trasferimento delle azioni si basano sulla generazione di video guidata da condizioni: trasformano il video osservato in controlli geometrici espliciti, come le pose delle mani o le mesh, per guidare la sintesi. Questi metodi, però, introducono errori nella stima geometrica, rendendo difficile preservare interazioni fisicamente plausibili quando le azioni vengono trasferite in nuove scene. In alternativa, i metodi di trasferimento del movimento estraggono direttamente gli schemi di movimento dal video osservato, ma le sole caratteristiche del movimento non riescono a rappresentare le complesse dinamiche del contatto, causando spesso gravi deformazioni strutturali delle mani e configurazioni di contatto implausibili. Per superare entrambi i limiti, presentiamo EgoACT, un framework che opera al momento dell’inferenza per trasferire azioni egocentriche intervenendo direttamente sul processo di denoising dei modelli di diffusione video, senza richiedere ulteriori sistemi di stima geometrica. EgoACT usa Velocity-guided Structure Anchoring per stabilizzare, nelle prime fasi del denoising, la struttura mano-oggetto in modo coerente con il riferimento, e Sparse Correspondence Calibration per perfezionare corrispondenze locali affidabili nelle fasi intermedie e finali. Insieme, queste due componenti preservano la semantica dell’azione trasferibile, migliorando al contempo la coerenza temporale e il realismo delle interazioni. Presentiamo inoltre EgoActionBench, un benchmark per valutare la conservazione dell’azione, la qualità visiva e la plausibilità delle interazioni tra mano e oggetto in diversi scenari di manipolazione egocentrica. Gli esperimenti mostrano che EgoACT genera video di interazioni più coerenti e fisicamente plausibili rispetto a solide soluzioni di riferimento.