Gli embedding costano troppo? Un vocabolario fisso da 16 MB per modelli linguistici piccoli e ternari

Abstract degli autori

In un piccolo modello linguistico, il vocabolario è la componente più grande. In Gemma 3 270M, la tabella degli embedding contiene 168 milioni dei 268 milioni di parametri e, poiché i metodi di quantizzazione mantengono gli embedding a 16 bit, occupa anche la maggior parte del file una volta compresso il resto del modello. Ci chiediamo che cosa offra davvero quella tabella. La sostituiamo con un’unica tabella fissa di codici da 512 bit, grande 16 MB e priva di parametri addestrabili, ricavata una sola volta da embedding preaddestrati mediante proiezione sulle componenti principali e binarizzazione del segno. Addestriamo poi da zero la stessa architettura modellata su Gemma, con e senza la tabella fissa, sugli stessi 2,05 miliardi di token. La tabella appresa riduce la perdita di validazione di 0,20 nat, ma richiede 2,6 volte i parametri addestrabili. Su LAMBADA, HellaSwag e PIQA, però, il modello con la tabella fissa ottiene risultati migliori o pari; solo ARC-Easy favorisce la tabella appresa. Con un’architettura ternaria BitNet b1.58, l’intero modello occupa un file da 46 MB, continua a eguagliare il modello in virgola mobile su LAMBADA e PIQA e, sulla CPU di un portatile, genera da 615 a 740 token al secondo usando 62 MB di memoria: una velocità da cinque a sei volte superiore a quella del GGUF a 8 bit del modello in virgola mobile in llama.cpp, con un settimo della memoria. La tabella fissa ottiene un vantaggio da 1,7 a 2,3 nat sulle parole rare, accetta 10.000 nuove parole dopo l’addestramento con un costo del 3%, mentre la tabella appresa crolla del 43%. Il tutto viene pubblicato insieme ai pesi, ai dati e a ogni risposta delle valutazioni.