Correzione contestuale delle sequenze proposte in parallelo per la decodifica speculativa

Abstract degli autori

La decodifica speculativa accelera l’inferenza dei modelli linguistici di grandi dimensioni usando un modello leggero per proporre più token, che vengono poi verificati in parallelo dal modello bersaglio. I modelli di proposta basati sulla diffusione sviluppati di recente rendono questo approccio particolarmente interessante: le architetture neurali profonde basate sull’attenzione producono previsioni accurate, mentre proporre in parallelo token per più posizioni future evita il costo sequenziale della generazione autoregressiva. Questo parallelismo, però, ha un costo. I token di un blocco proposto vengono previsti senza conoscere l’identità effettiva dei token proposti che li precedono, eliminando le dipendenze interne al blocco che sarebbero naturalmente disponibili nella generazione autoregressiva. Presentiamo DCOCO (DFlash Contextual Corrector), un meccanismo leggero che ripristina queste dipendenze senza rinunciare alla proposta in parallelo. Invece di scegliere la previsione più probabile per ciascuna posizione, DCOCO conserva più token candidati e ne valuta in parallelo la compatibilità contestuale tra posizioni adiacenti del blocco proposto. Questo consente di selezionare i token tenendo conto del contesto, con un costo aggiuntivo contenuto. Su quattro architetture di modelli verificatori e dieci benchmark, DCOCO ottiene la più alta velocità media di elaborazione in ogni configurazione valutata, sia nella decodifica greedy sia in quella stocastica, con e senza ragionamento esteso, raggiungendo accelerazioni fino a 6,6 volte rispetto alla decodifica standard. Il vantaggio si mantiene anche nella gestione di richieste simultanee: DCOCO supera il miglior metodo concorrente del 6-23% con 4-32 richieste simultanee, mentre a questi carichi gli altri correttori sequenziali ottengono risultati inferiori a DFlash senza correzione. Questi risultati dimostrano che recuperare le dipendenze interne ai blocchi mediante una valutazione contestuale in parallelo produce accelerazioni costanti nei diversi regimi di decodifica e con diversi carichi di richieste.