The COUNT: contare gli n-grammi permette di aumentare la scala sfruttando la memoria host e di adattarsi senza addestramento

Abstract degli autori

Il rapporto tra risorse di calcolo e prestazioni dei modelli linguistici (LM) è stato ampiamente studiato; più di recente, si progettano modelli capaci di scalare anche nell’uso della memoria. In particolare, l’aggiunta di embedding per gli n-grammi consente di aumentare l’uso della memoria indipendentemente dalle risorse di calcolo, perché ogni passaggio elabora soltanto singole righe di embedding, molto più piccole dello spazio occupato dall’intera tabella degli embedding. I metodi esistenti, però, addestrano gli embedding da zero: per leggere e scrivere rapidamente serve quindi la costosa memoria della GPU. La memoria ordinaria del sistema host, invece, è economica e poco sfruttata da questi metodi di addestramento. Per scalare sfruttando la memoria host, introduciamo COUNT (Counting Offline Unlocks N-gram Transformers), che costruisce embedding degli n-grammi senza aggiungere parametri appresi, memorizzando sull’host conteggi degli n-grammi precalcolati. Usiamo le frequenze nel corpus per combinare, attribuendo loro pesi diversi, gli unembedding del modello linguistico relativi ai token che seguono più spesso l’attuale sequenza di n-grammi. A parità di risorse di calcolo, COUNT può essere aggiunto come embedding di input supplementare nel preaddestramento di modelli linguistici da 1 miliardo di parametri, riducendo la loss di validazione quanto un modello linguistico che impiega il 57% di risorse di calcolo in più. Se la memoria della GPU è limitata, usare COUNT e lasciare che siano i parametri del modello di base a occupare la memoria della GPU offre prestazioni migliori rispetto a suddividere quella memoria per ospitare anche embedding degli n-grammi appresi. Oltre ai vantaggi in termini di efficienza, COUNT consente, al momento dell’inferenza, di sostituire la tabella dei conteggi degli n-grammi con una ricavata da un corpus specifico per un dominio, così da adattarsi a un nuovo compito senza alcun addestramento.