Lo strumento giusto per il compito giusto: valutazione nella lingua nativa, sensibilità al tokenizer e risultati metodologici da un BabyLM solo francese

Abstract degli autori

Presentiamo MéTRON-FR, un GPT-2 da 125M preaddestrato su 92,47M di parole in francese, per la track Strict di BabyLM 2026. Ottiene 85,97 ± 0,17% su QFrBLiMP (un benchmark nativo del francese del Québec basato su coppie minime grammaticali) e il 62,80% nella classifica ponderata di BabyLM. Un protocollo GLUE (General Language Understanding Evaluation) interlinguistico, che combina la traduzione in francese dei dati dei task con LoRA di rango 16 (Low-Rank Adaptation), produce un netto gradiente per tipo di task: i task relazionali migliorano in misura misurabile, mentre quelli basati sulla conoscenza del mondo regrediscono. La Bilingual Lexicon Induction allinea gli embedding francesi a GPT-2 con p@1 = 68,84 ± 8,61%, 18 volte sopra il caso, suggerendo che l’allineamento interlinguistico rifletta la competenza grammaticale acquisita, anziché la durata dell’addestramento. Uno studio di ablazione mostra che, su scala infantile, la valutazione zero-shot a token singolo è dominata dagli artefatti del tokenizer e del template, il che suggerisce di adottare come diagnostiche standard la sensibilità allo scambio del tokenizer, il prompting controllato con placebo e i benchmark di coppie minime nella lingua nativa.