The Pulse
NVIDIA traccia un percorso da 2,8 bilioni di token per l’IA nelle lingue indiane
NVIDIA e AI4Bharat hanno annunciato un corpus da 2,8 bilioni di token per 22 lingue indiane, con dati nella scrittura originale per tutte e 22 e testi romanizzati per 12. Il post su Hugging Face descrive la procedura di traduzione e control
AI.info Team · Scritto con l’IA ·
Il 16 ottobre, NVIDIA e AI4Bharat hanno annunciato la prevista pubblicazione di circa 2,8 bilioni di token di testi per l’addestramento in 22 lingue indiane, insieme a una procedura basata su GPU per generare i dati. Il post, pubblicato su Hugging Face, descrive un corpus costruito in gran parte traducendo materiale dall’inglese, non una raccolta di 2,8 bilioni di token scritti originariamente in lingue indiane. NVIDIA afferma che il dataset è ancora «in arrivo a breve»; il codice per la generazione e la procedura vengono condivisi separatamente.
Un corpus da 2,8 bilioni di token in 34 configurazioni
Il corpus, chiamato Nemotron-pretraining-Indic-v1, contiene 2.601,0 miliardi di token nella scrittura originale e 224,6 miliardi di token romanizzati, conteggiati con il tokenizer di Gemma-4. Comprende testi nella scrittura originale per tutte le 22 lingue e versioni in caratteri latini per 12, per un totale di 34 configurazioni di lingua e scrittura. Secondo il post, le 22 lingue sono quelle elencate nella Costituzione indiana.
Il materiale romanizzato non è in inglese: è testo in lingue indiane scritto in caratteri latini. Il corpus comprende anche documenti tradotti e varianti di scrittura derivati da fonti inglesi comuni, quindi il totale dei token non corrisponde né a documenti unici né al numero di token utilizzati in un addestramento. NVIDIA afferma che il dataset attinge a 15 sottoinsiemi di Nemotron-CC-v2 che comprendono testi dal web, domande e risposte, matematica, codice e materiale specialistico.
Traduzione, valutazione e correzione
Per 12 lingue, la procedura usa Gemma-4-31B-it per tradurre documenti interi dall’inglese, valutare ogni traduzione rispetto all’originale e contribuire a correggere quelle che ottengono un punteggio inferiore alla soglia di accettazione. I criteri di valutazione riguardano significato, scorrevolezza, terminologia, stile e formattazione; per essere accettate, le traduzioni devono ottenere almeno 75 punti su 100, un punteggio basato sui criteri e non una percentuale di accuratezza. I prompt indicano al modello di preservare elementi come equazioni, tabelle, codice e URL.
Le traduzioni accettate nella scrittura originale sono anche il punto di partenza per le versioni romanizzate, sottoposte a un controllo separato rispetto al testo nella scrittura originale. Le altre 10 lingue seguono un percorso diverso: Indic Translate di Bodhan AI esegue la traduzione e Gemma-4-31B-it ne valuta i risultati. NVIDIA afferma che il processo di correzione ha recuperato 438,4 miliardi di token tra dati nella scrittura originale e romanizzati, già inclusi nel totale del corpus.
I miglioramenti riportati provengono da una miscela di addestramento più piccola
Il corpus annunciato è molto più grande della quantità di dati usata nella fase di prosecuzione del pre-addestramento di Nemotron 3.5 Super VL di cui sono riportati i risultati. Quell’addestramento prevedeva 100 miliardi di token, di cui 10 miliardi destinati a una miscela di testi sintetici e testi in lingue indiane scritti da persone; i restanti 90 miliardi mantenevano le proporzioni della precedente miscela di addestramento. Secondo il rapporto tecnico di NVIDIA, il modello è migliorato da 4,98 a 9,82 punti percentuali nei cinque benchmark per le lingue indiane riportati.
I risultati non isolano il contributo del corpus sintetico: misurano la fase nel suo complesso, che impiega materiale sintetico e testi in lingue indiane scritti da persone. Il rapporto precisa inoltre che i benchmark confrontano i checkpoint immediatamente precedenti e successivi alla prosecuzione del pre-addestramento, e non costituiscono un test diretto dell’intero corpus da 2,8 bilioni di token. Il blog di NVIDIA afferma che resta da condurre uno studio del corpus completo, compresi i testi corretti e la procedura per le 10 lingue.
La quantità di dati non sostituisce i testi scritti originariamente in queste lingue
Gli autori presentano il progetto come una risposta alla scarsità di materiale per l’addestramento. «Non abbiamo abbastanza dati per le lingue indiane», scrive nel post Mitesh Khapra, responsabile di AI4Bharat. Il corpus tradotto può ampliare la disponibilità di materiale su argomenti tecnici, ma non può garantire una copertura delle conoscenze o delle culture locali; gli autori raccomandano di combinarlo con testi in lingue indiane scritti originariamente in queste lingue e provenienti da fonti appropriate.
I controlli della qualità sono prevalentemente automatizzati, con revisioni umane a campione la cui copertura varia a seconda della lingua. Nella procedura per le 12 lingue, lo stesso modello traduce e valuta il testo; NVIDIA avverte che i risultati conservati possono comunque contenere errori. Il dataset conta molti token, ma il suo valore pratico dipenderà dalla prossima pubblicazione, dai dati specifici di ciascuna lingua e dalla tenuta del testo sintetico quando i ricercatori lo valuteranno insieme a fonti scritte originariamente in quelle lingue.