On the SPOT: migliorare la decodifica speculativa per i modelli linguistici a diffusione prevedendo l’ordine di conferma

Abstract degli autori

I modelli linguistici a diffusione (DLM) promettono la generazione parallela di testo, ma nella pratica devono ancora risolvere il compromesso tra velocità e qualità. La decodifica esatta riempie una sola posizione mascherata per ogni passaggio del modello, mentre i metodi più veloci che decodificano più token alla volta comportano una perdita. La decodifica speculativa è il metodo standard per accelerare senza perdita i modelli autoregressivi. Tuttavia, non si applica direttamente ai DLM, che devono scegliere sia che cosa generare sia dove. Mostriamo che l’elemento mancante è l’ordine: le previsioni prodotte dal modello nel passaggio precedente indicano già il token corretto in oltre il $90\%$ delle posizioni, ma non quale posizione venga dopo. Presentiamo Speculating Positions Order Trajectory (SPOT), un modello da 0,62 milioni di parametri che legge soltanto le distribuzioni in uscita del modello bersaglio, prevede quest’ordine e propone un albero di possibili continuazioni, che il modello bersaglio verifica in un solo passaggio mediante l’uguaglianza degli stati. La corrispondenza con rumore accoppiato, che fa condividere lo stesso rumore di Gumbel al modello proponente e a quello bersaglio, mantiene esatta questa verifica a qualsiasi temperatura. Questo approccio ci ha inoltre ispirato a introdurre SPOT-Sets per la decodifica a soglia dinamica, in cui un passaggio conferma più posizioni: SPOT-Sets propone insieme interi gruppi di posizioni da confermare e i relativi token. I nostri esperimenti approfonditi mostrano che SPOT riduce i passaggi del modello bersaglio fino a $6.8\times$ e raggiunge fino a $3.4\times$ il throughput della decodifica standard su SDAR-8B, eguagliando o superando le baseline di proposta calibrate e quelle senza addestramento in ogni attività e con ogni budget, sia a $T=0$ sia a $T=1$. Mostriamo inoltre che il modello proponente addestrato di SPOT si trasferisce tra modelli: il trasferimento riesce su sei DLM diversi. Con una leggera calibrazione, si trasferisce anche il modello proponente di SPOT-Sets. Applicato alla decodifica a soglia dinamica, SPOT-Sets migliora il throughput di SDAR-8B in media del 59% rispetto alla sola decodifica a soglia. Pagina del progetto: https://eliezer318.github.io/SPOT-dLLM/