The Pulse
Microsoft testa un tokenizer sensibile alla morfologia in 104 lingue
I ricercatori di Microsoft presentano il Latent Core Tokenizer, un sistema con un vocabolario di 200.000 token valutato su 104 lingue. Secondo lo studio, rispetto a diversi tokenizer diffusi offre un migliore allineamento morfologico e un m
AI.info Team · Scritto con l’IA ·
Meno token per parola, con confini che seguono la morfologia
Con un vocabolario di 200.000 token, il Latent Core Tokenizer di Microsoft ha registrato una media di 1,999 token per parola, contro i 2,241 di Byte Pair Encoding, o BPE. Il risultato emerge da uno studio su 104 lingue, pubblicato l’8 ottobre 2026, che verifica se un tokenizer possa comprimere il testo preservando meglio le parti significative delle parole. Gli autori riportano un allineamento morfologico migliore rispetto a BPE, Unigram e parity-aware BPE, a fronte di disparità tra le lingue nei costi di tokenizzazione simili a quelle di BPE.
I ricercatori descrivono così il risultato principale: «I nostri risultati mostrano che la sola compressione non permette di prevedere la qualità delle rappresentazioni e mettono in evidenza l’importanza della scoperta di strutture guidata dalla morfologia e del modo in cui la frequenza viene usata per distribuire il vocabolario finale tra le lingue». Felermino D. M. A. Ali et al., Microsoft Research
Il lavoro presenta un metodo di ricerca, non un nuovo prodotto Microsoft né la tesi che i modelli abbiano già prestazioni migliori in ogni lingua. Al centro c’è il tokenizer, il componente che suddivide il testo in unità elaborabili da un modello linguistico. Queste unità incidono sulla lunghezza delle sequenze e su come un vocabolario di dimensioni fisse viene condiviso tra lingue con sistemi di scrittura, strutture delle parole e quantità di testo disponibile differenti.
LCT separa l’analisi linguistica dalla creazione dei token
I tokenizer convenzionali basati su sottoparole, in genere, individuano le parti ricorrenti e selezionano il vocabolario finale in un unico processo. Il Latent Core Tokenizer, o LCT, separa queste fasi. Prima analizza il testo alla ricerca di strutture interne riutilizzabili, poi costruisce il vocabolario che viene effettivamente fornito al modello; le parti interne guidano questa costruzione, ma non vengono fornite al modello come input aggiuntivi.
Per individuare le strutture, LCT combina un metodo Minimum Description Length con segnali basati sull’entropia di ramificazione e vincoli morfotattici. Questi segnali aiutano a individuare i confini probabili e a distinguere comportamenti tipici di prefissi, radici e suffissi senza richiedere etichette morfologiche di riferimento. Il metodo raggruppa poi le parti supportate dai dati in token di superficie, unendo le combinazioni in base al loro contributo alla riduzione del numero di token.
Il gruppo modifica anche il modo in cui la frequenza delle lingue orienta il processo. Anziché lasciare che le raccolte di testi più grandi dominino le scelte relative al vocabolario, LCT può riequilibrare le evidenze tra le lingue; gli esperimenti confrontano diversi gradi di riequilibrio. Gli autori precisano che non si tratta di assegnare a ogni lingua la stessa quota di voci del vocabolario: una parte condivisa tra più lingue può comunque ricevere il sostegno di tutte.
I miglioramenti dipendono dal termine di confronto
Nei test intrinseci dello studio, con un vocabolario di 200.000 token, la configurazione LCT-MEM di LCT ha raggiunto un punteggio MorphScore F1 di 0,5209, contro 0,4410 per BPE. MorphScore misura quanto i confini dei token coincidano con quelli dei morfemi. Il confronto sulla fertility, ossia il numero di token per parola, usa traduzioni della UDHR in 93 lingue, mentre MorphScore copre 65 lingue con un numero sufficiente di esempi annotati, non tutte le 104 lingue dello studio sul tokenizer.
Per i test a valle, gli autori hanno addestrato encoder XSmall di tipo DeBERTa-v3 e li hanno valutati su XNLI, Belebele, XStoryCloze e PAWS-X. LCT-MEM con un riequilibrio parziale tra le lingue ha migliorato il punteggio aggregato riportato di 1,48 punti rispetto a BPE, di 1,83 rispetto a Unigram e di 2,00 rispetto a parity-aware BPE. Gli autori dello studio riportano inoltre che le sequenze più brevi non hanno prodotto i risultati migliori nei test a valle: una distinzione che complica qualsiasi tentativo di giudicare i tokenizer in base alla sola compressione.
Un solo ciclo di preaddestramento lascia un’incertezza fondamentale
Gli autori segnalano i limiti entro cui è possibile generalizzare i risultati. Ogni encoder è stato preaddestrato una sola volta, quindi la variabilità riportata riflette cinque esecuzioni di fine-tuning, non cicli ripetuti di preaddestramento; lo studio afferma che una parte del miglioramento di 1,48 punti rispetto a BPE potrebbe dipendere dalla variabilità del preaddestramento. Gli esperimenti usano inoltre soltanto il piccolo encoder di tipo DeBERTa-v3, perciò non dimostrano che il risultato valga anche per modelli più grandi o per sistemi costituiti soltanto da decoder.
Anche la copertura non è uniforme: 62 delle 79 lingue rappresentate nella valutazione a valle compaiono solo in Belebele, il che rende i risultati aggregati fortemente dipendenti da quel benchmark. Nel quartile con meno dati di preaddestramento, il risultato di LCT-MEM su Belebele era sostanzialmente pari a quello di BPE, riferiscono gli autori. Resta da verificare se i miglioramenti del tokenizer persistano con cicli ripetuti di preaddestramento, una copertura più ampia dei compiti e architetture di modelli più grandi.