Il punteggio non è la struttura: allineamento cerebrale e trasferimento interlinguistico

Abstract degli autori

I ricercatori spesso sostengono che un modello condivida una struttura con il cervello, o tra lingue diverse, riportando un punteggio di similarità. Ci chiediamo che cosa rilevi un punteggio del genere quando la struttura condivisa è assente, o quando lo strumento usato per misurarla non funziona. Esaminiamo due casi e, in entrambi, il punteggio non è quello che sembra. Primo: una sonda addestrata a distinguere le frasi grammaticali da quelle agrammaticali in una lingua si trasferisce peggio alle lingue più distanti, il consueto indizio di una struttura condivisa. Ma la sonda stessa peggiora lungo la stessa scala: in quattro delle diciassette lingue le sue prestazioni sono pari al caso, perciò 64 delle 272 coppie di lingue sono valutate con uno strumento che non funziona. Escludendo queste lingue, la forza della relazione si dimezza, ma sono anche le più distanti e questo disegno non permette di separare i due effetti. Anche il conteggio conta: gli stessi dati danno p = 0,0006 se le 272 coppie vengono considerate indipendenti e p = 0,155 se si considerano le diciassette lingue, che sono l’unità corretta. Secondo: addestrare un modello linguistico a riprodurre le risposte cerebrali umane porta il suo punteggio di similarità da 0,10 a 0,34, a fronte di un tetto massimo di 0,54. Un modello addestrato su un bersaglio la cui corrispondenza con il cervello è stata distrutta ottiene comunque 0,31: solo da 0,028 a 0,068 dell’aumento è quindi specifico del cervello. Anche senza alcun modello, un bersaglio distrutto ottiene già 0,204 rispetto a quello reale: un valore minimo che segue il rango del bersaglio diviso per il numero di frasi. Infine, guidare una lingua lungo la propria direzione funziona (+6,2 rispetto a una direzione casuale in sedici lingue su diciassette), ma non mostra alcun effetto che vari con la distanza tra le lingue. Prima di chiedersi se una corrispondenza sia utile, chiediamoci quale parte del punteggio resterebbe senza di essa.