I tokenizzatori di movimento per la generazione di gesti co-verbali codificano la semantica dei gesti?

Abstract degli autori

I tokenizzatori discreti di movimento codificano il movimento in unità atomiche e sono ampiamente usati per la generazione di gesti co-verbali. Resta poco chiaro quali proprietà del movimento, soprattutto quelle rilevanti per la semantica dei gesti, siano recuperabili da questi codebook. Mettiamo alla prova un codebook addestrato alla ricostruzione usando 19 descrittori di gesti co-verbali, che spaziano dal movimento grezzo alla funzione comunicativa astratta. I risultati mostrano che la geometria e la lateralità sono facilmente decodificabili dagli embedding dei token, mentre la categoria del movimento viene decodificata solo debolmente, pur in presenza di differenze sistematiche nell’uso dei codici discreti. Questa discrepanza tra la qualità della ricostruzione e la decodificabilità dei descrittori suggerisce che i soli obiettivi di ricostruzione non garantiscono che la semantica dei gesti venga catturata e che valutare i codebook in base a queste proprietà possa guidare la progettazione di tokenizzatori di movimento più semantici.