Allineamento interlinguistico per modelli solo decoder mediante router MoE

Abstract degli autori

L’apprendimento contrastivo interlinguistico è stato una componente fondamentale dell’addestramento degli encoder multilingui, ma nei LLM solo decoder non è possibile allineare esplicitamente le rappresentazioni a causa delle differenze nella tokenizzazione multilingue. Tuttavia, un numero crescente di studi suggerisce che, anche nei LLM, un maggiore allineamento delle rappresentazioni tra lingue migliori il trasferimento interlinguistico. In questo articolo proponiamo un nuovo modo di concepire l’apprendimento contrastivo interlinguistico alla luce dei vincoli architetturali dei moderni LLM. Invece di applicare una funzione di perdita ausiliaria per l’allineamento agli stati nascosti, proponiamo di usare come obiettivo dell’allineamento gli output dei router dei modelli mixture-of-experts (MoE). Gli output dei router si prestano meglio all’aggregazione su molti token, consentendo confronti interlinguistici più affidabili a livello di sequenza. Esperimenti controllati di pre-addestramento continuo su quattro MoE open source mostrano che l’inclusione di questa funzione di perdita per il routing allinea anche le rappresentazioni nascoste sottostanti tra lingue diverse. Soprattutto, questa funzione di perdita migliora le prestazioni multilingui nel nostro insieme diversificato di valutazioni, dimostrando il potenziale dell’allineamento interlinguistico dei router MoE.