Riconoscimento zero-shot interlinguistico delle configurazioni manuali nelle lingue dei segni

Abstract degli autori

L’elaborazione delle lingue dei segni avanza rapidamente per le lingue con molte risorse, come la lingua dei segni americana (ASL), ma la maggior parte delle lingue dei segni del mondo è priva delle annotazioni fonologiche richieste dai nuovi metodi. Presentiamo il primo framework zero-shot interlinguistico per il riconoscimento delle configurazioni manuali, che trasferisce conoscenze dall’ASL alla lingua dei segni catalana (LSC). Il nostro approccio sfrutta la scomposizione delle configurazioni manuali in cinque caratteristiche fonologiche — dita selezionate, flessione, divaricazione, posizione del pollice e contatto del pollice — condivise da entrambe le lingue, per decodificare le configurazioni manuali della LSC a partire da caratteristiche predette, tramite una metrica composita di distanza fonologica. Valutiamo tre architetture (MLP, SL-GCN, SHuBERT), addestrate su due corpora di ASL (PopSign, Sem-Lex), confrontandole con un benchmark della LSC composto da 37 configurazioni manuali e un solo segnante. Il trasferimento zero-shot si dimostra praticabile una volta armonizzate le differenze nei formati di registrazione, raggiungendo un’accuratezza dell’80,0% sulle caratteristiche fonologiche e un’accuratezza attesa del 54,5% sulle configurazioni manuali. La scomposizione fonologica offre quindi un ponte per estendere le tecnologie per le lingue dei segni alle lingue con poche risorse, senza etichette di addestramento per video nella lingua di destinazione.