COSMI: sintesi composizionale di interazioni con più oggetti

Abstract degli autori

I modelli generativi dell’interazione tra persone e oggetti sono limitati dai dati disponibili: le attività quotidiane coinvolgono diversi oggetti, ma la maggior parte dei dataset acquisiti ne registra uno alla volta, perché acquisire interazioni con più oggetti comporta un costo che cresce in modo combinatorio. La nostra osservazione è che le interazioni sono locali: le acquisizioni con un solo oggetto contengono quindi già le componenti delle attività con più oggetti. Le combiniamo: usiamo clip di singole interazioni coerenti sul piano del contatto, le specchiamo per bilanciare l’uso delle mani e le trasferiamo tra corpi; un modello linguistico e verifiche geometriche ammettono soltanto le combinazioni plausibili, dal punto di vista semantico e fisico. Il dataset cresce quindi in modo combinatorio con il numero di clip, anziché con il tempo di registrazione. Il dataset COSMI contiene 222k sequenze e 275 ore con un massimo di cinque oggetti: è quasi trenta volte più grande della più ampia raccolta acquisita con più oggetti e può essere ampliato aggiungendo altri dataset o persino registrazioni di interazioni tra mani e oggetti. Su questi dati addestriamo il metodo COSMI, un transformer di diffusione che genera interazioni a partire dal testo e rispecchia la struttura dei dati: slot per oggetti con pesi condivisi generano un numero variabile di oggetti, le cui posizioni sono previste rispetto alle parti del corpo che li muovono. In un benchmark con un oggetto mai visto e combinazioni di interazioni mai viste, i modelli addestrati sul dataset generalizzano alle nuove combinazioni. COSMI supera i modelli di riferimento nell’aderenza al testo e nell’accuratezza dei contatti, con il margine più ampio sull’oggetto mai visto. Il codice, i modelli e la pipeline del dataset saranno pubblicati sulla pagina del progetto: https://ptrvilya.github.io/cosmi.