The Pulse
Hugging Face dichiara una tokenizzazione BERT 50 volte più veloce
Hugging Face afferma che le modifiche alla sua libreria Tokenizers rendono la codifica del testo con BERT circa 50 volte più veloce rispetto alla versione 0.23 nei suoi benchmark. L’ottimizzazione è ancora allo stadio di pull request e i gu
AI.info Team · Scritto con l’IA ·
La velocizzazione di 50 volte della tokenizzazione BERT dichiarata da Hugging Face richiede una precisazione: il benchmark combina i miglioramenti già apportati alla sua libreria Tokenizers con una nuova ottimizzazione ancora in fase di revisione come pull request. Secondo l’azienda, il nuovo intervento aggiunge fino a un ulteriore fattore di 5,7 per il tokenizzatore uncased di BERT, ma le prestazioni variano molto a seconda del sistema di scrittura e della lunghezza dell’input.
Simon Brandeis, autore del post di Hugging Face, scrive: «Al momento in cui scrivo, le modifiche sono ancora allo stadio di pull request». La distinzione conta per chi deve decidere se aspettarsi l’intero guadagno annunciato nel titolo da un pacchetto pubblicato o nei propri carichi di lavoro.
Il dato di 50 volte combina due serie di interventi
Il post confronta bert-base-uncased con Tokenizers 0.23. Prima delle ultime modifiche proposte, la codifica con il modello era già circa 8,6 volte più veloce, secondo Brandeis. Il nuovo intervento sulla normalizzazione aggiunge fino a un fattore di 5,7 rispetto a quella versione più recente, portando il miglioramento complessivo a circa 50 volte rispetto alla versione 0.23.
Questi dati descrivono i risultati di benchmark a thread singolo, non un miglioramento garantito dei tempi di risposta delle applicazioni. Hugging Face ha effettuato le misurazioni su due host AMD EPYC 7R13 e un Intel Xeon Platinum 8488C, vincolando ogni esecuzione a un solo core. Ogni misurazione ha codificato ripetutamente per cinque secondi un corpus di testo di 5–6 MB; l’autore afferma che i rapporti di velocizzazione rilevati sulle diverse macchine differivano di pochi punti percentuali.
La normalizzazione richiedeva più tempo della scelta dei token
L’ottimizzazione riguarda le operazioni che precedono la selezione dei token da parte di WordPiece. In un profilo di un passaggio di codifica di testo inglese con bert-base-uncased dopo il riscaldamento, la normalizzazione rappresentava l’88% del tempo di codifica e WordPiece l’8%. Il normalizzatore ripulisce il testo, gestisce i caratteri cinesi, scompone i caratteri Unicode, rimuove gli accenti e converte le lettere in minuscolo.
Le modifiche di Hugging Face mirano a saltare o ridurre queste operazioni quando l’input lo consente. Il codice controlla i byte ASCII in gruppi di 16, evitando l’elaborazione Unicode per le sequenze di normali caratteri ASCII. Per altri sistemi di scrittura, memorizza in cache le decisioni di normalizzazione relative a pagine di 256 punti di codice vicini. Se l’input è già nella forma richiesta, il normalizzatore può restituirlo senza allocare una nuova stringa; quando servono modifiche, può copiare in blocco le parti che non cambiano.
I risultati riportati mantengono invariati gli ID dei token nei corpora usati per i benchmark. L’inglese e il codice sorgente registrano i miglioramenti maggiori grazie all’eliminazione dell’elaborazione ASCII. I testi in russo, greco e arabo — ciascuno composto per circa l’11% da caratteri ASCII nei corpora esaminati — sono migliorati di un fattore compreso tra 2,2 e 3,2, grazie alla cache delle pagine.
Il cinese e gli input brevi mostrano i limiti
La velocizzazione non è uniforme tra le lingue. Secondo il post, il testo cinese trae pochi benefici perché BERT inserisce spazi intorno ai caratteri cinesi, lasciando poche operazioni su caratteri ASCII da saltare. Per ModernBERT, che usa la normalizzazione NFC, la codifica dell’inglese cambia appena, con un fattore di 1,06, mentre il codice, l’arabo e il russo migliorano di circa 2 volte.
Anche gli input piccoli possono perdere tempo a causa dei nuovi meccanismi. Nei test limitati alla normalizzazione, 55 misurazioni su 320 sono risultate più lente oltre il margine di rumore indicato; gli input di 32 byte o meno potevano subire un peggioramento, con un input cinese di 8 byte che scendeva a un fattore di 0,35 per la rimozione degli accenti. La normalizzazione di BERT cased sul cinese era più lenta dall’8% al 15% per input di 64 byte o più.
Per i team che valutano la modifica, la questione pratica è se i loro testi assomiglino ai corpora di diversi megabyte, prevalentemente in inglese, usati nel benchmark. I risultati di Hugging Face indicano l’utilità di analizzare i propri input reali in base alla lingua e alla lunghezza, verificando poi sia la produttività sia la correttezza. Il codice proposto era ancora in fase di revisione quando Brandeis ha pubblicato le misurazioni il 15 ottobre 2026.