Quando la lingua più debole continua a cambiare: ARMOR-DP per BabyLM multilingue

Abstract degli autori

I sistemi BabyLM multilingue di solito fissano le proporzioni di campionamento delle lingue, anche se la lingua più debole può cambiare durante l’addestramento. Presentiamo ARMOR-DP, un framework modulare che individua gli squilibri dovuti alla rappresentazione, all’esposizione, alla capacità e alla pressione esercitata dall’obiettivo, e usa la perdita di validazione per ciascuna lingua per aggiornare il campionamento. Esperimenti controllati mostrano che budget uguali in termini di caratteri creano un marcato artefatto di rappresentazione per il cinese; la codifica a livello di byte ne elimina gran parte, mentre una protezione statica del cinese può successivamente rendere l’inglese la lingua più debole. Il sistema di controllo dinamico segue questi cambiamenti e raggiunge un compromesso tra punteggio ed equilibrio migliore rispetto alla protezione fissa. Nella valutazione ufficiale, i checkpoint con curriculum dinamico superano una baseline comparabile con protezione statica del cinese, pur usando meno epoche per il cinese; l’aumento della capacità produce il sistema ARMOR-DP più forte nei test interni. Questi risultati sostengono una conclusione semplice: la debolezza di una lingua in un sistema multilingue è uno stato che varia durante l’addestramento, non una proprietà fissa della lingua. ARMOR-DP separa quindi la diagnosi dall’intervento, consentendo alla protezione di seguire il collo di bottiglia del momento anziché un’etichetta linguistica prestabilita.