Il collo di bottiglia semantico: sfruttare le rappresentazioni semantiche per la decodifica non invasiva del parlato

Abstract degli autori

La decodifica non invasiva del parlato resta limitata dal basso rapporto segnale-rumore delle registrazioni neurali, che rende difficile ricostruire con precisione i fonemi o le singole parole. Sulla base di evidenze neuroscientifiche secondo cui le rappresentazioni semantiche di alto livello sono distribuite tra diverse regioni corticali ed evolvono su scale temporali più lente, ipotizziamo che il contenuto semantico possa essere un obiettivo più adatto alla decodifica non invasiva rispetto alle caratteristiche acustiche o lessicali di basso livello. Presentiamo Brain2Semantics2Text, un metodo che ricostruisce il testo attraverso uno spazio intermedio di embedding semantici. Il nostro modello mappa le risposte MEG a livello di frase su una varietà semantica e poi converte gli embedding previsti in linguaggio naturale. Questo collo di bottiglia semantico consente di recuperare il significato di alto livello senza un allineamento a livello di parola. Descriviamo i principi fondamentali dell’approccio, la sua implementazione e le strategie adottate per affrontare le difficoltà di apprendere una mappatura affidabile dai segnali neurali alle rappresentazioni semantiche. Infine, confrontiamo il metodo con i precedenti metodi non invasivi Brain2Text e mostriamo risultati migliori a livello di frase.