HAPACT: un benchmark per localizzare gli impatti fisici sul corpo umano nei film

Abstract degli autori

Il ragionamento fisico sugli esseri umani nei video si è concentrato soprattutto sulle interazioni quotidiane, in cui contatto, pressione, postura e movimento contribuiscono alla percezione incarnata e alle applicazioni che tengono conto del contatto. Restano invece relativamente poco studiati fenomeni brevi e violenti come gli eventi d’impatto, nonostante la loro importanza per comprendere più in generale come gli eventi fisici improvvisi influiscano sul corpo umano. Per colmare questa lacuna, introduciamo la localizzazione degli impatti centrata sulla persona: un nuovo compito che individua gli impatti fisici oggetto della ricerca nel tempo, all’interno di un video, e nello spazio, sul corpo umano. Presentiamo inoltre HAPACT, un dataset e benchmark HumAn-centric imPACT costruito a partire da spezzoni cinematografici, che contiene oltre 2,8K coppie video-query e più di 20K fotogrammi annotati da persone con un elevato livello di dettaglio. Abbiamo costruito HAPACT attorno ad annotazioni basate su ciò che osservano gli spettatori, alla localizzazione condizionata dal testo e a una supervisione con granularità temporale a livello di fotogramma e spaziale basata su SMPL-X. Per dimostrare l’efficacia del nostro benchmark, valutiamo ampiamente i metodi esistenti, impiegando modelli di recupero di momenti video per la localizzazione temporale e modelli di contatto tra persone e scena per quella spaziale. Per il compito spaziale, proponiamo un modello di base condizionato dal testo, riformulando la localizzazione come selezione delle regioni corporee guidata dalla query. I risultati del benchmark mostrano che localizzare gli impatti fisici resta difficile per i metodi esistenti e indicano l’utilità di HAPACT come benchmark dedicato al ragionamento sugli impatti fisici nei video.