Imparare a imparare una lingua

Abstract degli autori

Presentiamo il Prior-Fitted Language Model (PFLM), un transformer a livello di byte con 300 milioni di parametri, preaddestrato esclusivamente su campioni di una distribuzione a priori sintetica non linguistica. Dato un prefisso di testo reale, impara a predire la lingua nel contesto senza modificare i propri pesi, pur non avendo mai visto una parola di alcuna lingua reale. Ogni sequenza di addestramento è generata da un modello causale strutturale ricorrente, estratto ogni volta da una distribuzione di tali modelli. Durante l’addestramento, il modello non incontra mai due volte la stessa lingua: l’unico modo per predire il seguito è quindi inferire la lingua dal prefisso. I campioni di questa distribuzione a priori condividono le caratteristiche statistiche del testo naturale: frequenze zipfiane, lenta convergenza del tasso di entropia e dipendenze a lungo raggio. Su Wikipedia, in sei lingue, i bit per byte scendono dagli otto di una distribuzione uniforme a un valore compreso tra 0,9 e 2,4 con un milione di byte di contesto. Se gli si forniscono numerali anziché testo, PFLM impara a contare, a confrontare grandezze e a eseguire addizioni approssimative. Predice sequenze deterministiche come quella di Rudin-Shapiro o la sequenza indicatrice dei numeri primi e comprime dati di sei domini non testuali, dal codice sorgente al parlato, più di gzip e PPMd. Il modello non ha imparato una lingua. Ha imparato a impararne una.