Recurrent Temporal Restricted Boltzmann Machines come codificatori non supervisionati per sequenze di movimento biomeccanico

Abstract degli autori

Le registrazioni dei movimenti biomeccanici sono serie temporali continue e ad alta dimensionalità. Per analizzarle senza etichettarle manualmente occorrono rappresentazioni che colgano come i movimenti evolvono nel tempo. La maggior parte delle pipeline di apprendimento non supervisionato delle rappresentazioni, tuttavia, tratta ogni singolo frame come indipendente e trascura questa struttura temporale, mentre i modelli basati sull’energia, che potrebbero coglierla, non sono stati adattati in modo esteso ai segnali biomeccanici. In questo lavoro, quindi, implementiamo la Recurrent Temporal Restricted Boltzmann Machine (RTRBM), un modello ricorrente basato sull’energia, come codificatore non supervisionato che trasforma finestre di dati di movimento in rappresentazioni vettoriali di lunghezza fissa, e verifichiamo quale contributo dia la sua struttura ricorrente. Adattiamo il modello ai segnali a valori continui, ne sovrapponiamo più livelli in un’architettura profonda e lo integriamo nella pipeline di segmentazione SIT-FUSE. Valutiamo le rappresentazioni vettoriali su movimenti muscoloscheletrici simulati di raggiungimento di un bersaglio e su due dataset reali relativi all’andatura, usando il clustering, la ricostruzione e la classificazione della velocità di camminata di soggetti mai osservati. Le confrontiamo inoltre con metodi di riferimento non ricorrenti e non probabilistici, tra cui un controllo che elimina la connessione ricorrente. Il clustering delle rappresentazioni vettoriali recupera, senza alcuna etichetta, una struttura dei movimenti legata all’avanzamento verso il bersaglio, che si trasferisce anche a episodi mai osservati. Sui dati relativi all’andatura, le rappresentazioni vettoriali superano i metodi di riferimento basati su PCA e autoencoder quando vengono valutate con una sonda non lineare. Tuttavia, eliminare la connessione ricorrente non comporta una perdita misurabile nel compito di raggiungimento del bersaglio, e semplici statistiche riassuntive per canale classificano la velocità di camminata almeno altrettanto bene delle rappresentazioni vettoriali. Il modello è quindi un codificatore funzionante e verificato per SIT-FUSE, ma le evidenze sui benefici della ricorrenza sono contrastanti e, per l’andatura, le rappresentazioni vettoriali apprese non hanno superato semplici statistiche riassuntive.