Multilingual GSM-Symbolic: da cosa dipende il trasferimento delle capacità tra le lingue?

Abstract degli autori

Sappiamo ancora poco di come le capacità acquisite in una lingua si trasferiscano a un’altra e di quali fattori governino questo trasferimento: le valutazioni si basano su dataset non comparabili e soggetti a saturazione e raramente esaminano insieme i fattori che lo determinano. Sapere che cosa predice il trasferimento ci permetterebbe di evitare valutazioni esaustive su tutte le coppie di lingue e aiuterebbe gli sviluppatori a intervenire sui fattori che limitano le prestazioni nelle lingue con poche risorse. Per valutare il trasferimento delle capacità tra lingue, presentiamo Multilingual GSM-Symbolic, un dataset matematico multilingue estensibile che comprende 30.000 coppie domanda-risposta abbinate per quesito e copre 15 lingue. Il dataset usa template simbolici per prevenire l’overfitting e garantire la generalizzazione, consentendo di generare milioni di varianti di alta qualità a partire da un singolo campione. Usando Multilingual GSM-Symbolic, quantifichiamo i principali fattori che determinano le capacità: dimensioni del modello ($β= 1.77$), livello di risorse della lingua ($β= 0.77$), ragionamento ($β= 0.67$) e distanza tipologica ($β= -0.25$). Questa stima congiunta permette di mettere i fattori in relazione tra loro: un modello da 32B valutato in marathi ottiene prestazioni pari a quelle di un modello da 10B in inglese. I nostri risultati hanno implicazioni importanti per gli sviluppatori di modelli: mostrano che le dimensioni del modello e il ragionamento riducono il divario di prestazioni tra lingue con poche e molte risorse (rispettivamente $β= -0.27$ e $β= -0.20$), mentre leve analoghe hanno un effetto scarso o nullo sulle lingue tipologicamente distanti. Nel complesso, il nostro quadro di analisi spiega il 92% della variazione tra lingue, ma solo il 23% di quella relativa alle combinazioni di modello e lingua, e predice le prestazioni di un modello in una lingua mai osservata con uno scarto non superiore a 6,0pp (r=0,96). Aggiungendo misurazioni ottenute da appena 10 template nella lingua di destinazione, lo scarto si riduce a 4,19pp: si possono così ottenere stime ragionevoli delle prestazioni disponendo di un dataset per attività a valle ridotto o anche senza averne uno.