Controllo grammaticale per l’apprendimento delle lingue con Monte Carlo sequenziale e piccoli modelli linguistici

Abstract degli autori

Chi apprende una seconda lingua trae beneficio dall’esposizione a strutture grammaticali adeguate al proprio livello durante l’uso interattivo della lingua. I modelli linguistici di frontiera guidati da prompt riescono di solito a produrre le strutture grammaticali desiderate, ma i modelli meno esigenti in termini di risorse, che possono essere eseguiti direttamente sul dispositivo, spesso non riescono in questo compito. Usiamo il Monte Carlo sequenziale (SMC) per orientare la generazione dei turni di dialogo nei piccoli modelli linguistici verso le costruzioni grammaticali desiderate, attingendo a una risorsa didattica elaborata da esperti. Con un insieme minimo di funzioni potenziale definite manualmente, l’SMC raggiunge una copertura quasi perfetta della grammatica desiderata, consentendo ai piccoli modelli di superare i risultati allo stato dell’arte ottenuti da modelli 140 volte più grandi. Usiamo inoltre la sintesi di codice con modelli di frontiera per generare nuove funzioni potenziale, mostrando che il nostro metodo può estendersi a centinaia di competenze grammaticali obiettivo senza bisogno di ulteriore addestramento o di dati supervisionati.