The Pulse
Uno studio di Apple: i dati in inglese rendono più di un’ulteriore ottimizzazione degli iperparametri per l’arabo
Un articolo di ricerca pubblicato da Apple nell’ottobre 2026 descrive esperimenti in cui aggiungere dati in inglese all’addestramento di modelli linguistici per l’arabo ha dato risultati migliori della sola ottimizzazione degli iperparametr
AI.info Team · Scritto con l’IA ·
Due modi per sfruttare meglio i pochi dati in arabo
Quando un gruppo che sviluppa modelli linguistici ha pochi testi in arabo, può cercare di sfruttare meglio il corpus disponibile ottimizzando le impostazioni di addestramento, oppure aggiungere dati in inglese. Un nuovo studio segnalato da Apple Machine Learning Research rileva che, negli esperimenti, il secondo approccio ha generalmente prodotto miglioramenti maggiori, anche quando il confronto con l’ottimizzazione comprendeva ampie ricerche sul tasso di apprendimento e sul decadimento dei pesi.
Lo studio, “Mix, Don’t Tune”, confronta le due strategie in circa 1.000 sessioni di pre-addestramento. Il gruppo ha addestrato modelli da 150 milioni a 1,43 miliardi di parametri, usando l’arabo come lingua obiettivo e l’inglese come lingua ausiliaria con più risorse disponibili. Nei modelli di dimensioni maggiori, l’aggiunta dell’inglese ha ridotto la perdita di validazione sull’arabo più della sola ottimizzazione degli iperparametri, e il divario è cresciuto all’aumentare delle dimensioni.
La combinazione con l’inglese ha guadagnato terreno nei modelli più grandi
Gli esperimenti impiegano 200 milioni di token arabi unici, addestrando i modelli su dati arabi ripetuti oppure su combinazioni di arabo e inglese. I ricercatori hanno variato la quota di arabo insieme alle impostazioni di addestramento. Con 1,43 miliardi di parametri, la combinazione ha ridotto la perdita di validazione sull’arabo del 12,9% rispetto al modello di riferimento monolingue; la sola ottimizzazione degli iperparametri l’ha ridotta del 3,1%. Ottimizzare gli iperparametri dopo aver combinato le lingue ha aggiunto meno dell’1% su questa metrica a ogni dimensione.
«Combinare le lingue produce miglioramenti maggiori dell’ottimizzazione degli iperparametri sia nella perdita di validazione sia nell’accuratezza nei compiti successivi, e il divario cresce con le dimensioni del modello», scrivono Paul Jeha, Anastasiia Sedova, Louis Béthune, Skyler Seto, Jes Frellsen, Pierre Ablin e Natalie Schluter, autori dello studio.
Nei modelli più grandi, la combinazione ottimale si è spostata verso una quota maggiore di inglese. Negli esperimenti con iperparametri ottimizzati, la quota ottimale di arabo è scesa da 0,33 con 380 milioni di parametri a 0,10 con 1,43 miliardi. Il risultato suggerisce che mostrare ripetutamente a un modello più grande lo stesso corpus limitato di arabo può renderlo più soggetto all’overfitting, mentre nuovi testi in inglese diversificano i dati da cui apprende.
I miglioramenti nel benchmark hanno superato quelli indicati dalla perdita di validazione
I ricercatori hanno valutato i modelli anche su ARC Easy, un benchmark a scelta multipla incentrato sulle conoscenze, con prove in inglese e in arabo. Per la valutazione in arabo hanno tradotto le domande inglesi usando NLLB-200-3.3B. Con 1,43 miliardi di parametri, l’addestramento bilingue con iperparametri trasferiti ha raggiunto la stessa accuratezza nel benchmark di un modello monolingue addestrato sull’equivalente di 1,6 miliardi di token arabi unici, pur usando 200 milioni di token arabi unici nella configurazione bilingue.
Quando anche il modello bilingue è stato sottoposto a una ricerca completa degli iperparametri, lo studio ha stimato che le sue prestazioni nel benchmark fossero pari a quelle di un modello monolingue addestrato con una quantità di dati arabi unici 13,4 volte maggiore, equivalente a 2,7 miliardi di token. La stima deriva dal confronto ottenuto mediante un modello statistico nello studio, non da una sessione di addestramento effettuata direttamente con 2,7 miliardi di token arabi. La differenza tra questo risultato nel benchmark e il miglioramento più contenuto nella perdita di validazione sull’arabo è al centro dell’avvertimento degli autori: la sola perdita di validazione può non rilevare alcuni benefici della combinazione delle lingue nei compiti successivi.
Una sola coppia di lingue pone un limite evidente
Il risultato ha una portata più limitata di una regola generale per l’addestramento di modelli multilingue. Lo studio esamina una sola coppia di lingue, arabo e inglese, e le conclusioni sui compiti successivi si basano su ARC Easy; la versione araba è tradotta automaticamente, non scritta originariamente in arabo. Gli autori osservano inoltre che gli effetti della traduzione potrebbero contribuire al vantaggio apparente dei modelli addestrati sull’inglese.
Per la configurazione esaminata, gli autori raccomandano di dare priorità al rapporto tra le lingue nella combinazione, anziché a una ricerca approfondita degli iperparametri, e di trasferire le impostazioni di addestramento da un modello più piccolo usando la parametrizzazione dell’aggiornamento massimo, o μP. Le loro evidenze sono più solide per il pre-addestramento arabo-inglese in condizioni di scarsità di dati: con 1,43 miliardi di parametri, il confronto nel benchmark accosta 200 milioni di token arabi unici nell’addestramento bilingue a 2,7 miliardi di token equivalenti per un modello monolingue dopo un’ulteriore ottimizzazione.