Uno studio empirico su larga scala dei modelli linguistici sintattici

Abstract degli autori

I modelli linguistici sintattici (SLM), che generano frasi insieme alle rispettive strutture ad albero sintattico, hanno mostrato risultati promettenti sia nella generalizzazione sintattica sia nei compiti a valle. Gli studi precedenti, tuttavia, hanno valutato per lo più modelli più piccoli, addestrati su meno dati di preaddestramento e messi alla prova su insiemi di compiti più ristretti. Inoltre, lo spazio delle possibili configurazioni per la linearizzazione degli alberi e le maschere di attenzione resta poco esplorato. Conduciamo uno studio empirico su larga scala di 12 configurazioni controllate — una baseline basata sui soli terminali e 11 varianti di SLM con diverse linearizzazioni e maschere — fino a 1B di parametri e 100B di token di addestramento, valutate su 11 compiti a valle e due benchmark sintattici. I risultati sperimentali mostrano che gli SLM con attenzione causale standard eguagliano o superano le varianti con maschere strutturali nei benchmark relativi sia ai compiti a valle sia alla sintassi. Non richiedono modifiche all’architettura e restano compatibili con FlashAttention. Osserviamo inoltre che, passando alla scala di 1B di parametri, la variante di SLM con le prestazioni migliori non mostra più un chiaro vantaggio rispetto a una baseline non strutturale con pari risorse computazionali, il che suggerisce che gli SLM potrebbero diventare meno competitivi al crescere della scala. Il nostro codice è disponibile all’indirizzo https://github.com/qlwpc/TG-Interpolation.