Il multilinguismo negli LLM ad attenzione ibrida

Abstract degli autori

Per rispondere alla crescente domanda di sequenze lunghe nei casi d’uso agentici e di ragionamento, molti LLM all’avanguardia combinano diverse varianti dell’attenzione per mitigare la complessità quadratica della tradizionale attenzione softmax. Questi LLM ad attenzione ibrida cercano di bilanciare i punti di forza e i limiti dell’attenzione completa e delle alternative basate sulla ricorrenza. Questo lavoro presenta un primo studio dell’impatto dell’attenzione ibrida sul multilinguismo degli LLM. Oltre all’impatto sulle sequenze lunghe nelle lingue con tokenizzazione carente, il nostro studio nasce dalla possibilità che i bias induttivi dello stato ricorrente modifichino l’elaborazione linguistica. La nostra analisi di interpretabilità lo conferma: nei modelli ibridi, le rappresentazioni interlinguistiche si sviluppano secondo schemi legati all’ordine degli strati ricorrenti e di quelli ad attenzione completa. In diversi modelli osserviamo, in particolare, un marcato picco nell’allineamento interlinguistico in corrispondenza del primo strato ad attenzione completa. Questi risultati ci portano a mettere in discussione l’ordine convenzionale degli strati di attenzione. Negli esperimenti di distillazione su dati multilingui, tutti gli ordinamenti alternativi degli strati superano quello standard per tutta la durata dell’addestramento, apprendendo fino a 2,5 volte più velocemente. Questi risultati netti e replicabili ci spingono a formulare la teoria secondo cui i modelli multilingui trarrebbero beneficio dall’iniziare con uno strato ad attenzione completa anziché con strati ricorrenti.