ReaDy: gli stati ricorrenti come contesto dinamico per la generazione speculativa di bozze nei grandi modelli linguistici ad attenzione lineare ibrida

Abstract degli autori

La decodifica speculativa accelera la generazione autoregressiva producendo più token per ogni passaggio. Tuttavia, i modelli che generano bozze a partire dalle caratteristiche interne si basano su rappresentazioni interne del modello bersaglio, la cui enfasi sul contesto potrebbe non corrispondere alle esigenze delle posizioni successive della bozza. I modelli ad attenzione lineare ibrida (HLA) mantengono stati ricorrenti compatti che accumulano associazioni pregresse, offrendo una fonte efficiente di contesto complementare per la generazione speculativa di bozze. Presentiamo ReaDy, il primo metodo di decodifica speculativa, per quanto ne sappiamo, a sfruttare gli stati ricorrenti dei modelli HLA per recuperare, durante la generazione della bozza, un contesto specifico per ciascuna posizione. ReaDy assegna a ogni posizione della bozza una query appresa per recuperare un contesto supplementare direttamente dagli stati ricorrenti confermati del modello bersaglio. Un componente leggero che legge gli stati integra questo contesto nelle rappresentazioni della bozza mediante aggiornamenti residuali, mentre letture degli stati a basso rango e operatori fusi mantengono basso il costo aggiuntivo in termini di calcolo e I/O. Basandosi sul backbone parallelo e sulla testa di predizione sequenziale di DSpark, ReaDy impiega una strategia leggera di adattamento in due fasi; la capacità del componente di lettura, le fonti degli stati e la collocazione degli aggiornamenti residuali sono esaminate mediante studi di ablazione. Su sette benchmark che comprendono matematica, generazione di codice e dialogo, ReaDy ottiene un’accelerazione media della decodifica pari a $3.16\times$ rispetto alla decodifica autoregressiva con Qwen3.8-27B su una singola GPU NVIDIA B200. Supera DSpark in ogni benchmark, migliorando in media la velocità di elaborazione del 7,97% e la lunghezza di accettazione dell’8,50%. Il nostro codice è disponibile all’indirizzo https://github.com/StartLuxLabs/ReaDy.