Eliminare le scorciatoie temporali migliora la decodifica non invasiva dal cervello al testo

Abstract degli autori

Scopriamo che i principali miglioramenti riportati nella decodifica delle parole da registrazioni cerebrali non invasive sono in larga misura riproducibili senza alcun dato cerebrale. Nell’influente lavoro di d’Ascoli et al. (2025), le serie temporali dell’attività cerebrale di soggetti che percepiscono un parlato continuo vengono suddivise in finestre di lunghezza fissa che iniziano in corrispondenza di ogni parola. Una rete neurale genera poi previsioni per tutte le parole di una frase insieme. Le finestre adiacenti si sovrappongono parzialmente, rivelando implicitamente l’intervallo tra le parole. Poiché questi intervalli indicano la durata delle parole pronunciate, e parole diverse tendono ad avere durate diverse — per esempio, «the» è molto più breve di «supercalifragilisticexpialidocious» — la rete neurale può migliorare le proprie previsioni senza basarsi sull’attività cerebrale sottostante. Coerentemente con questo, il metodo raggiunge un’accuratezza bilanciata del 22,0% su segnali sintetici privi di informazioni cerebrali, contro il 22,3% su registrazioni cerebrali reali. Per impedire alla rete di imparare questa scorciatoia, apportiamo un’unica, semplice modifica. Anziché codificare insieme tutte le finestre di una frase, elaboriamo ciascuna in modo indipendente. Di conseguenza, la rete neurale ottiene prestazioni migliori apprendendo dalle registrazioni cerebrali informazioni sottostanti specifiche per ciascuna parola. Questo rende due strategie esistenti molto più efficaci di prima: sia aggregare le previsioni ottenute da risposte neurali distinte alla stessa parola sia usare un LLM preaddestrato come prior linguistico migliora ora notevolmente i risultati. Nel nostro benchmark sul parlato percepito, questa semplice procedura (SimpleB2T) raggiunge un tasso di errore sulle parole del 36,6% con cinque osservazioni per parola, avvicinandosi alle prestazioni ottenute in passato nella decodifica invasiva del parlato, sebbene in condizioni diverse. I risultati di questo lavoro mettono in luce un’importante scorciatoia nella decodifica dal cervello al testo e mostrano che eliminarla porta a una strategia semplice e considerevolmente più efficace.