ULME: accoppiamento predittivo per embedding e modellazione del linguaggio che si rafforzano a vicenda

Abstract degli autori

La creazione di embedding testuali e la generazione di testo sono due delle capacità più utili dei moderni modelli linguistici di grandi dimensioni. Di norma, però, sono affidate a modelli specializzati distinti — uno per gli embedding e uno per la generazione — addestrati con obiettivi incompatibili e impiegati fianco a fianco nei sistemi di generazione aumentata dal recupero delle informazioni e nei sistemi ad agenti. Modelli recenti che unificano embedding e generazione, come GritLM, condividono i parametri tra le due capacità, ma cambiano il regime di attenzione a seconda della modalità oppure ottimizzano embedding e modellazione del linguaggio come obiettivi paralleli che non si supervisionano mai a vicenda. Sosteniamo che questi approcci siano unificati solo in parte: le due capacità coesistono negli stessi pesi, ma non si influenzano reciprocamente. Proponiamo ULME, un framework di post-training che unifica embedding e modellazione del linguaggio in un LLM causale di tipo decoder-only mediante un accoppiamento predittivo. ULME inserisce una sequenza di slot apprendibili tra la query e la risposta, ricava un embedding semantico e un embedding del ragionamento da due slot designati e addestra tre obiettivi su un backbone causale condiviso: una funzione di perdita contrastiva che ancora lo slot semantico alle rappresentazioni dei documenti, una funzione di perdita per la modellazione del linguaggio che supervisiona la generazione della risposta e una funzione di perdita predittiva con stop-gradient che allinea lo slot del ragionamento a una sintesi aggregata della risposta, così che la generazione contribuisca attivamente a determinare ciò che l’embedding codifica. Su due famiglie di modelli (Qwen2.5, Qwen3) e otto dimensioni, da 0,5 a 8 miliardi di parametri, un unico checkpoint ULME migliora il risultato su MTEB di 3,3-4,1 punti rispetto alla migliore baseline open source, migliora contemporaneamente i risultati su BRIGHT e AdvBench-IR e resta alla pari con un modello sottoposto a fine-tuning solo per la generazione nei benchmark standard di accuratezza (MMLU, GSM8K, MMLU-Pro, HumanEval). Questo dimostra che un’autentica unificazione produce capacità che si rafforzano a vicenda, anziché limitarsi a coesistere.