PAMI: movimento ancorato alle parti del corpo per generare interazioni uomo-oggetto a partire dal testo

Abstract degli autori

La generazione di interazioni uomo-oggetto (HOI) che coinvolgono l’intero corpo e sono condizionate dal testo richiede di sintetizzare movimenti umani e traiettorie degli oggetti coerenti con il testo in input, mantenendoli coordinati con precisione nel tempo. La maggior parte dei metodi rappresenta l’essere umano e l’oggetto come traiettorie separate e predice gli accoppiamenti globali tra i due. Apprendere implicitamente questa relazione complessa e dinamica, tuttavia, produce spesso derive degli oggetti, contatti mancati e compenetrazioni. Presentiamo PAMI, un framework Part-Anchored Motion per generare interazioni. Ispirata alla classica trasformata di Hough, la nostra idea centrale è localizzare il movimento dell’oggetto facendo sì che i punti di ancoraggio sulle parti del corpo contribuiscano a determinarlo: esprimiamo il movimento dell’oggetto rispetto a più punti di ancoraggio e usiamo PamiVAE per apprendere uno spazio latente delle interazioni, decodificando per ogni fotogramma i pesi con cui aggregare i contributi specifici delle diverse parti del corpo. Su questa rappresentazione, PAMI costruisce le interazioni secondo una gerarchia dal grossolano al fine. PamiGen genera dapprima dal testo un’interazione uomo-oggetto grossolana in questo spazio latente strutturato; PamiRefiner risolve poi ricorsivamente la geometria fine dei contatti mediante una rappresentazione ibrida per il rilevamento della superficie, che combina sonde a lungo raggio, capaci di cogliere l’influenza complessiva delle parti del corpo, e sensori a corto raggio, che rilevano i dettagli dei contatti vicino alla superficie dell’oggetto. Gli esperimenti su InterAct mostrano che PAMI genera interazioni più fedeli e movimenti degli oggetti rispetto al corpo umano più accurati rispetto ai metodi precedenti, con un recall dei contatti superiore del 14,5% rispetto al precedente stato dell’arte. Ampi studi di ablazione confermano il contributo sia della rappresentazione basata sui punti di ancoraggio delle parti del corpo, sia del perfezionamento tramite rilevamento ibrido della superficie.