Andare più a fondo con le memorie

Abstract degli autori

I modelli linguistici a livello di byte evitano la dipendenza dai tokenizer e offrono una copertura universale, ma elaborare ogni byte alla massima risoluzione è costoso. Presentiamo DeepMem, un’architettura causale multiscala che separa la compressione semantica dalla conservazione esatta dei byte. Una trasformazione di sottobanda invertibile appresa costruisce una gerarchia di sequenze più brevi, mentre un canale portante senza perdita e bande laterali esplicite di dettaglio preservano l’identità dei byte. I blocchi di memoria a pesi rapidi operano lungo l’encoder, con un calcolo iterativo dello stato condiviso nel collo di bottiglia compresso, mentre un decoder di super-risoluzione basato sull’attenzione ripristina rappresentazioni alla risoluzione dei byte. DeepMem ottiene prestazioni di modellazione linguistica superiori a quelle di un Transformer a livello di byte con configurazione corrispondente su FineWeb-Edu e PG19 e raggiunge le migliori prestazioni medie macro tra le lingue FLORES valutate. Migliora inoltre l’accuratezza su PIQA, mantenendo prestazioni competitive nella modellazione del codice, nel ragionamento a scelta multipla e nella robustezza alle corruzioni a livello di byte. Il perfezionamento del collo di bottiglia richiede circa $7{,}600\times$ meno FLOP conteggiati rispetto a un ragionamento equivalente a piena risoluzione, mantenendo al contempo una velocità di valutazione competitiva.