DLite: decodifica speculativa senza cronologia per l’IA agentica

Abstract degli autori

La decodifica speculativa è diventata una tecnica diffusa per accelerare l’inferenza dei modelli linguistici di grandi dimensioni (LLM): un modello leggero genera token candidati, che vengono poi verificati dal modello bersaglio. I carichi di lavoro agentici, però, comportano contesti lunghi e in continua evoluzione e frequenti interazioni su più turni. In queste condizioni osserviamo che, nei modelli usati per generare i candidati, la lunghezza di accettazione cala fino all’80%, mentre mantenere la loro cache KV della cronologia comporta un notevole sovraccarico per il sistema. In questo articolo individuiamo nel contesto storico crescente una causa comune dei due problemi e presentiamo DLite, un framework di decodifica speculativa senza cronologia per l’IA agentica. DLite riutilizza direttamente gli stati nascosti contestuali del modello bersaglio ed esegue predizioni speculative locali senza mantenere esplicitamente il contesto storico, trasformando un problema di modellazione sempre più complesso in un semplice problema di predizione locale. Una testa sequenziale leggera ripristina inoltre le dipendenze causali all’interno del blocco con un sovraccarico ridotto. Per addestrare efficacemente questa architettura eterogenea senza cronologia, introduciamo una strategia di addestramento in due fasi appositamente studiata. Esperimenti su carichi di lavoro generici, a contesto lungo e agentici mostrano che DLite raggiunge una lunghezza di accettazione compresa tra 2 e 6 e supera fino al 70% DSpark, il metodo di decodifica speculativa più avanzato.