La diffusione speculativa è una storia di due compromessi

Abstract degli autori

La decodifica speculativa è una tecnica che accelera l’inferenza dei grandi modelli linguistici autoregressivi (LLM) campionando da un modello per la generazione di bozze più veloce, ma di qualità inferiore. Tradizionalmente, una sua caratteristica fondamentale è l’assenza di perdita rispetto alla distribuzione del modello verificatore: garantisce maggiore velocità senza sacrificare la qualità. È una differenza rispetto ai modelli linguistici a diffusione (dLLM) sviluppati di recente, che possono ottenere notevoli aumenti di velocità riducendo la qualità degli output con un minore sforzo di diffusione. Poiché i modelli a diffusione possono campionare più velocemente di quelli autoregressivi generando token in parallelo, sono considerati ottimi candidati per la generazione di bozze nella diffusione speculativa. Se è ampiamente noto che i modelli a diffusione possono sacrificare la qualità per guadagnare velocità, anche la decodifica speculativa può essere generalizzata per generare più rapidamente campioni con perdita, adottando criteri di accettazione meno rigorosi rispetto alla distribuzione del modello verificatore. Considerando i due parametri dello sforzo di diffusione e della permissività della decodifica speculativa, questo studio esplora l’intera frontiera di Pareto raggiungibile variandoli congiuntamente. I nostri esperimenti mostrano che variare insieme lo sforzo di diffusione e la permissività dei criteri di accettazione può estendere la frontiera di Pareto tra velocità e qualità rispetto alla generazione di bozze tramite diffusione in un singolo passaggio.