Addestramento e inferenza guidati dalla fattorizzazione per la decodifica speculativa con proposte generate per diffusione

Abstract degli autori

La decodifica speculativa accelera l’inferenza dei modelli linguistici di grandi dimensioni verificando in parallelo i token proposti da un modello proponente. I modelli proponenti basati sulla diffusione parallelizzano anche la generazione delle proposte, ma una maggiore capacità di proporre token o un numero medio più alto di token accettati (MAT) non si traducono necessariamente in una maggiore capacità di elaborazione. Poiché la verifica accetta solo un prefisso consecutivo, un rifiuto nelle prime posizioni può rendere inutili le predizioni corrette successive, limitando i miglioramenti del MAT. Inoltre, anche un MAT più alto potrebbe non aumentare la capacità di elaborazione se cresce la latenza di ogni ciclo. Presentiamo DScout, che usa due fattorizzazioni complementari per guidare l’addestramento e l’inferenza dei modelli proponenti basati sulla diffusione verso una maggiore capacità di elaborazione. Per l’addestramento, DScout scompone la perdita per posizione in inclusione, ponderazione e perdita di predizione. Questa scomposizione guida la progettazione e la combinazione dell’addestramento a orizzonti misti, della rimozione delle maschere all’interno del blocco e della perdita ponderata in base all’accettazione, per allineare la supervisione all’accettazione del prefisso e migliorare il MAT. Per l’inferenza, DScout scompone la capacità di elaborazione nel rapporto tra MAT e latenza per ciclo. Questo guida la scelta della profondità del condizionamento sul modello bersaglio, della profondità del modello proponente e della dimensione dei blocchi di inferenza, così da individuare una configurazione ad alta capacità di elaborazione per ciascun carico di lavoro. Su sei benchmark, DScout ottiene accelerazioni medie di $3.84\times$ e $4.14\times$ rispetto alla decodifica autoregressiva, rispettivamente su Qwen3-4B e Qwen3-8B, migliorando l’accelerazione media rispetto al metodo di riferimento allo stato dell’arte del 9,1% e del 7,1%. Su diversi modelli e con diverse impostazioni di concorrenza, la nostra strategia di configurazione dell’inferenza offre un’ulteriore accelerazione media fino al 9,75% rispetto alla configurazione fissa di DScout.