Memorie n-gram a due bit: quantizzazione delle tabelle di ricerca nei grandi modelli linguistici

Abstract degli autori

La memoria condizionale aumenta la capacità dei modelli linguistici attraverso consultazioni selettive, ma l’intera tabella degli embedding deve restare disponibile per ogni possibile input. Presentiamo Conditional Program (CP), una rappresentazione compressa che ricostruisce soltanto le righe richieste da un input. CP rappresenta ogni riga con un codice breve e un fattore di scala locale, usando un programma di ricostruzione condiviso dall’intera tabella. Realizziamo questa rappresentazione con un trellis gaussiano, il ripristino della norma e record di riga decodificabili indipendentemente. Il codice a 2 bit di CP riduce la divergenza KL dell’output del 41--63\% rispetto all’arrotondamento al valore più vicino a 2 bit. L’analisi di tre famiglie di memorie n-gram addestrate mostra che statistiche delle coordinate simili a quelle gaussiane coesistono con relazioni apprese tra le righe; a parità di spazio di archiviazione, il trellis condiviso supera i codebook adattati ai dati e le varianti con residui a basso rango che abbiamo testato. Per DeepSeek, riduce lo spazio occupato dalla tabella da 203 GB a 51 GB, lasciando spazio per carichi di lavoro più grandi quando la tabella è mantenuta sulla GPU.