Una volta albero, sempre albero? Trasferimento interlinguistico della generalizzazione gerarchica nei modelli linguistici

Abstract degli autori

I modelli linguistici (LM) mostrano spesso un trasferimento interlinguistico efficace quando se ne prosegue il (pre)addestramento, ma il processo alla base di questo risultato resta poco chiaro. Una possibilità è che i modelli sfruttino le evidenze a favore di principi universali del linguaggio, in particolare della struttura gerarchica, apprese da una lingua di partenza (L1) per una nuova lingua (L2). Sono però possibili anche molte altre spiegazioni non linguistiche, per esempio una migliore inizializzazione degli embedding di posizione. In questo studio, per quantificare la trasferibilità interlinguistica delle evidenze linguistiche nell’addestramento interlinguistico dei modelli, introduciamo un nuovo disegno sperimentale: una configurazione interlinguistica di povertà dello stimolo (CPOS) che, mediante ablazione, esamina in che misura le evidenze strutturali fornite in L1 possano guidare la generalizzazione gerarchica dei modelli in L2. Mettiamo a confronto scenari controfattuali di apprendimento di L1 e L2 in cui il corpus di L2 è ambiguo rispetto a regole grammaticali lineari e gerarchiche, mentre la quantità di evidenze positive a favore della regola gerarchica viene controllata in L1. I risultati sperimentali mostrano che i modelli possono trasferire le evidenze strutturali da L1 a L2 in parte, ma non perfettamente: ne deriva una propensione alla struttura gerarchica lieve ma rilevabile, la cui intensità dipende dalla coppia di lingue. Esaminiamo inoltre mediante ablazione le condizioni necessarie al trasferimento, alla luce di recenti studi che segnalano il notevole impatto della sovrapposizione del vocabolario. Riscontriamo infatti che tale sovrapposizione è cruciale anche per il trasferimento interlinguistico della generalizzazione sintattica gerarchica. Ciò suggerisce che la sovrapposizione del vocabolario spieghi anche le tendenze legate alle coppie di lingue osservate negli esperimenti principali e che il trasferimento delle evidenze linguistiche nell’apprendimento continuo di una nuova lingua sia possibile solo a determinate condizioni.