ProVe: decodifica con proponente e verificatore

Abstract degli autori

La decodifica speculativa accelera i modelli linguistici autoregressivi (AR) facendo sì che un modello piccolo elabori in sequenza una bozza di token e che un modello grande la verifichi in parallelo. Noi invertiamo questi ruoli. Partendo da un checkpoint AR standard, sottoponiamo il modello grande a fine-tuning per trasformarlo in un proponente che predice un blocco di token futuri in un unico passaggio forward, poi usiamo un passaggio forward aggiuntivo per verificare il blocco proposto. Nasce così ProVe, la decodifica con proponente e verificatore. Il verificatore può essere un modello AR più piccolo oppure il proponente stesso; in quest’ultimo caso si ottiene ProVe-lossless, che riproduce la decodifica AR greedy del proponente. Le proposte a blocchi offrono già un notevole margine di accelerazione: con una dimensione del blocco di 16, il prefisso medio del blocco proposto che coincide con la decodifica AR è di 6,6 token su GSM8K. Su sei benchmark, con un proponente da 32B, ProVe-lossless raggiunge un throughput AR medio 2,5 volte superiore senza addestrare una testa di generazione di bozze separata. Con un verificatore piccolo da 3B, ProVe raggiunge un throughput medio 2,7 volte superiore, con un’accuratezza inferiore di 2,6 punti rispetto ad AR nella media dei sei task: un compromesso tra velocità e accuratezza che può essere regolato.