PreSTO: prefetching predittivo dei sottoalberi per un power sampling rapido degli LLM

Abstract degli autori

Il power sampling migliora il ragionamento dei modelli linguistici di grandi dimensioni (LLM) in fase di test campionando da una versione più concentrata della distribuzione del modello di base. Il campionatore che utilizza, PowerMH, è lento perché i suoi aggiornamenti Metropolis--Hastings (MH) sono sequenziali: ogni decisione di accettazione o rifiuto determina lo stato da cui viene generata la proposta successiva. I lavori precedenti riducono questo costo modificando il campionatore o il modello (per esempio, con il metodo Monte Carlo sequenziale, il lookahead approssimato o la distillazione). Proponiamo Predictive SubTree Prefetching (PreSTO), che accelera PowerMH caricando in anticipo le proposte future e, come dimostriamo, lascia invariato il suo nucleo di transizione MH. PreSTO rappresenta i possibili esiti futuri di MH come un albero di decisioni di accettazione o rifiuto: a ogni chiamata al modello, genera in un unico batch le proposte di un \textit{prefetched subtree} di questo albero, poi segue il percorso effettivamente realizzato applicando la regola di accettazione MH originale. Osserviamo inoltre che MH percorre solo una parte sparsa e quasi unaria di ciascun sottoalbero caricato in anticipo; progettiamo quindi una \textit{predictive traversal rule} che sceglie il sottoalbero per massimizzare il numero previsto di transizioni completate. Su sette dataset e cinque LLM di base, PreSTO ottiene accelerazioni mediane rispettivamente di $1.71\times$, $1.91\times$ e $2.33\times$ con PowerMH e i suoi sviluppi successivi EntropyCut e MultiTryMH; con i primi due, effettua un numero mediano di chiamate al modello $3.9\times$ inferiore, ciascuna delle quali dura solo $2.1\times$ di più. Su LCB V6 con Qwen3.5-9B, la regola di attraversamento predittiva è ulteriormente $1.25\times$--$1.37\times$ più veloce dell’attraversamento predefinito in ampiezza.