SpecPilot: scoperta autonoma di algoritmi e ottimizzazione dei sistemi per la decodifica speculativa

Abstract degli autori

La decodifica speculativa accelera la decodifica di LLM, limitata dalla memoria, grazie a un modello proponente leggero; i modelli proponenti paralleli ampliano questo vantaggio generando un intero blocco in un unico passaggio forward. Tuttavia, non è chiaro se i sistemi rilasciati, nella loro versione standard, raggiungano tutto il vantaggio che la generazione parallela consente. Individuiamo tre difficoltà. Primo, con una sola richiesta, a ogni passaggio vengono accettati pochi token, ma letti tutti i pesi del modello bersaglio. Secondo, con il batching, il lavoro di verifica per richiesta riduce all’incirca della metà il vantaggio rispetto alla decodifica autoregressiva (AR). Terzo, la decodifica speculativa dipende dal deployment e non esiste un’ottimizzazione universale adatta a ogni regime di serving, modello proponente, modello bersaglio e GPU. Per affrontare queste difficoltà, presentiamo SpecPilot, un ciclo agentico autonomo che scopre algoritmi e ottimizzazioni di sistema per ogni deployment. A ogni iterazione, un modello di costo individua gli scarti maggiori tra il sistema corrente e il suo limite massimo. Agenti paralleli esplorano diverse direzioni e integrano quelle che hanno successo. Il forcing dei token confronta ogni token generato con quello della versione standard, per rilevare il reward hacking. Una memoria strutturata trasferisce i meccanismi convalidati alle nuove iterazioni e ai nuovi deployment. SpecPilot ha scoperto un formato generale dei pesi a 12 bit senza perdita, la verifica ad albero per modelli bersaglio ibridi ricorrenti, la verifica a due livelli e tre meccanismi di batching. Lo valutiamo su quattro modelli bersaglio, tre modelli proponenti, due piattaforme GPU e cinque benchmark. Senza addestramento né perdita di qualità, aumenta il vantaggio rispetto all’AR da 4,46$\times$ della versione standard a 10,87$\times$ con una sola richiesta, e da 1,94$\times$ a 3,93$\times$ con il batching.