MAMHOI: fattorizzare l’interazione persona-oggetto nel contesto della scena tramite le affordance

Abstract degli autori

Generare interazioni realistiche tra persone e oggetti (HOI) in scene 3D complesse richiede due capacità complementari: valutare se un’interazione sia realizzabile nell’ambiente e sintetizzare movimenti realistici della persona e dell’oggetto. Tuttavia, raramente sono disponibili su larga scala dati per addestrare congiuntamente queste due capacità. I dataset persona-scena offrono informazioni ricche sui movimenti che tengono conto dell’ambiente, mentre i dataset persona-oggetto descrivono in dettaglio le dinamiche dell’interazione; restano però scarsi i dati che associano persone, oggetti e scene. Presentiamo MAMHOI, una fattorizzazione della generazione di interazioni persona-oggetto nel contesto della scena mediata dalle affordance. MAMHOI fattorizza questa generazione attraverso un’interfaccia esplicita di affordance del movimento tra la comprensione della scena e la sintesi del movimento: un modello condizionato dalla scena prevede prima dove e come sia possibile realizzare un’interazione, poi un modello HOI condizionato dalle affordance genera i movimenti corrispondenti della persona e dell’oggetto. Questa fattorizzazione permette di apprendere la comprensione della scena e le dinamiche dell’interazione da fonti di supervisione complementari, senza richiedere dati che associno persone, oggetti e scene. Esperimenti in ambienti interni complessi mostrano che MAMHOI riduce la compenetrazione tra oggetto e scena, preservando meglio la qualità dell’interazione tra persona e oggetto e producendo così interazioni nel contesto della scena più realistiche e fisicamente realizzabili. Pagina del progetto: https://leimingyuan.github.io/MAMHOI-project-page/