Conosci te stesso e conosci il tuo vicino: un framework per l’apprendimento auto-supervisionato di rappresentazioni composizionali delle frasi, guidato dalla sintassi e basato su un’iperrete ricorsiva

Abstract degli autori

L’apprendimento delle rappresentazioni delle frasi resta una sfida aperta nell’elaborazione del linguaggio naturale. In questo lavoro proponiamo un nuovo framework auto-supervisionato per apprendere tali rappresentazioni, usando un particolare tipo di rete neurale chiamato iperrete ricorsiva. Il modello che proponiamo costruisce la rappresentazione di una frase a partire dalle rappresentazioni delle parole, applicando una composizione ricorsiva lungo l’albero sintattico. Manteniamo distinte una rappresentazione sintattica e una semantica, e la composizione semantica è guidata dalle informazioni contenute nella rappresentazione sintattica. Per addestrare il modello, introduciamo una nuova serie di sei compiti auto-supervisionati. Analizzando i risultati su 7 test diagnostici, verifichiamo che la rappresentazione delle frasi generata codifica informazioni linguistiche più ricche rispetto sia ai metodi di riferimento basati sulla media sia alle alternative allo stato dell’arte. Valutiamo inoltre, mediante studi di ablazione, l’impatto dei sei compiti di addestramento auto-supervisionato proposti. Dimostriamo anche che le rappresentazioni generate dal nostro modello sono stabili per frasi di diversa lunghezza e che gli operatori di composizione semantica si adattano a diverse categorie sintattiche\footnote{Code available: https://github.com/vasudev2020/codi/tree/main}.