Le parti del discorso come categorie emergenti nello spazio latente degli SAE

Abstract degli autori

Gli autoencoder sparsi (SAE) offrono un modo promettente per esaminare le rappresentazioni dei modelli linguistici, ma non è ancora chiaro quale tipo di struttura linguistica rendano accessibile i loro latenti. Usiamo le categorie grammaticali (parti del discorso, PoS) come caso di prova controllato per studiare se le informazioni morfosintattiche siano codificate da singoli latenti o da gruppi strutturati di caratteristiche. Rileviamo che le distinzioni tra categorie grammaticali sono altamente recuperabili dalle attivazioni degli SAE, ma non corrispondono a mappature uno a uno tra latenti e categorie. Questa recuperabilità non si riduce alla memorizzazione lessicale e le classi aperte e chiuse delle parti del discorso differiscono sostanzialmente. Le categorie sono rappresentate da gruppi compatti di latenti sparsi, con variazioni significative tra i diversi tag. Questi gruppi rimangono stabili sui dati di test, mostrando al contempo sovrapposizioni tra categorie affini. I nostri risultati mostrano che gli SAE localizzano le informazioni morfosintattiche in forma distribuita e dipendente dalla categoria, anziché attraverso caratteristiche grammaticali atomiche.