HuC-VideoMAE: autoencoding video con mascheramento incentrato sulle persone a partire da dati sintetici

Abstract degli autori

I moderni modelli di riconoscimento delle azioni si basano su transformer video preaddestrati su vaste raccolte di video reperiti sul web, come Kinetics-700. L’uso di questi dati solleva però questioni etiche, poiché di norma non viene ottenuto il consenso delle persone riprese. I recenti dataset di video sintetici di alta qualità generati da dati di motion capture, come BEDLAM2.0, offrono una promettente alternativa etica. In questo lavoro esaminiamo il preaddestramento autosupervisionato dei transformer video su dataset sintetici di movimento umano. Mostriamo anzitutto che applicare direttamente la strategia standard di mascheramento di VideoMAE porta a prestazioni nettamente inferiori rispetto al preaddestramento su Kinetics. Per superare questo limite, proponiamo uno schema di mascheramento incentrato sulle persone che sfrutta i punti chiave del corpo e le regioni delle bounding box delle persone. Il nostro approccio incoraggia il modello a concentrarsi sulla struttura e sulla dinamica del movimento umano durante il preaddestramento. Gli esperimenti su NTU RGB+D e Toyota-Smarthome dimostrano che il nostro metodo supera nettamente il preaddestramento standard di VideoMAE su dati sintetici, colmando il 49% del divario rispetto al preaddestramento su Kinetics nella configurazione cross-view-subject di NTU RGB+D, senza usare un solo fotogramma reale durante il preaddestramento. Per promuovere l’uso di modelli etici di riconoscimento delle azioni, renderemo pubblicamente disponibili i nostri modelli preaddestrati.