D3D: generazione di bozze a diffusione disaccoppiata per la decodifica speculativa asincrona

Abstract degli autori

I generatori di bozze a diffusione condizionati dal modello bersaglio predicono token candidati in parallelo, ma ogni nuovo blocco deve attendere gli stati nascosti aggiornati del modello bersaglio. Questo costringe la generazione delle bozze e la verifica a svolgersi in sequenza, limitando l’accelerazione, anche se ogni blocco viene generato in un solo passaggio. Introduciamo D3D, un generatore autonomo di bozze a diffusione che elimina questa dipendenza tra i turni. D3D combina il denoising a blocchi con una supervisione autoregressiva ausiliaria per ottenere lunghi prefissi accettati senza stati nascosti del modello bersaglio. Questa indipendenza consente a D3D di generare bozze dei blocchi successivi durante la verifica, in un unico passaggio impacchettato, rendendo possibile la decodifica speculativa asincrona. Potiamo progressivamente gli strati in base al loro effetto sulla lunghezza di accettazione, per ridurre il costo della generazione impacchettata delle bozze. Rimuovendo cinque dei 36 strati si mantiene oltre il 99\% della lunghezza media di accettazione su tre benchmark, con Qwen3-8B come modello bersaglio. Su sette benchmark, D3D raggiunge un’accelerazione media della decodifica di 5.00$\times$ e 5.71$\times$ con i modelli bersaglio Qwen3-8B e Qwen3-32B, contro 4.03$\times$ e 3.67$\times$ per DFlash. Su GSM8K con Qwen3-32B, l’accelerazione raggiunge 7.48$\times$. Il codice è disponibile pubblicamente all’indirizzo https://github.com/fudan-generative-vision/D3D.