BYOD: Build Your Own DLM – conversione efficiente di modelli linguistici autoregressivi in modelli a diffusione

Abstract degli autori

A differenza dei modelli autoregressivi (AR), i modelli linguistici a diffusione (DLM) consentono aggiornamenti paralleli dei token, una generazione flessibile e un’attenzione bidirezionale, ma i sistemi più avanzati si basano su un pretraining costoso o sul fine-tuning dell’intero modello. Presentiamo Build Your Own DLM (BYOD), una procedura generalizzabile basata esclusivamente su LoRA per convertire modelli AR in DLM in modo efficiente in termini di parametri. Senza un tuning specifico per l’architettura, BYOD introduce la generazione per diffusione in Gemma 2 9B, Llama 3.1 8B, Qwen2.5 7B e Ministral 8B; per quanto ne sappiamo, questa è la prima conversione da AR a DLM di un modello Mistral di cui sia stata data notizia. Gli adattatori costituiscono il 4,1–5,8% dei parametri finali, mentre tutti i parametri del modello di base restano congelati; ogni conversione di 25.000 iterazioni richiede al massimo 102,4 milioni di token, elaborati in 3,1–4,0 ore su una singola GPU Google Colab. Tutti e quattro i modelli generano testo a partire da sequenze interamente mascherate, usano il contesto bidirezionale in un test controllato dell’attenzione e conservano una parte sostanziale delle conoscenze del modello di partenza. BYOD-Gemma è la conversione BYOD più efficace nella nostra valutazione su nove attività, con un’accuratezza media del 50,6%, rispetto al 51,9% di LLaDA 8B Instruct nello stesso framework di valutazione. La qualità della generazione libera con budget ridotti di valutazioni della funzione di rete (NFE) resta il principale limite: la perplessità di BYOD è compresa tra 8,3 e 11,1, contro 4,1 per LLaDA e 2,2–3,0 per i modelli AR di partenza, generando 128 token in 64 passaggi. Per consentire ulteriori esperimenti e analisi, forniamo un’implementazione autonoma per l’addestramento e la valutazione e demo interattive per tutte e quattro le conversioni. BYOD offre quindi una soluzione pratica per estendere la generazione per diffusione ad altre famiglie di modelli esistenti e, al contempo, mette in luce il divario che le conversioni efficienti devono colmare.