Evolving Infra: serving degli LLM adattivo agli agenti su larga scala

Abstract degli autori

I carichi di lavoro agentici sono una delle principali fonti della domanda di inferenza degli LLM. Gli attuali sistemi di serving disaggregato prefill--decode (PD) offrono una flessibilità limitata nell’adattare in tempo reale l’allocazione delle risorse di calcolo e la gestione della cache KV, e si basano su segnali grossolani che colgono solo in parte la varietà e la dinamicità dei carichi di lavoro agentici. Questi limiti causano uno squilibrio del carico tra i nodi prefill e decode e l’espulsione di cache KV che gli agenti riutilizzeranno. Presentiamo Evolving Infra, un framework di serving adattivo agli agenti che adatta in tempo reale l’allocazione delle risorse di calcolo ai carichi di lavoro degli agenti e la gestione della cache KV alla gestione del contesto degli agenti. Separiamo l’allocazione delle risorse di calcolo dalla gestione della cache key--value (KV), consentendo ai nodi di passare in modo efficiente da prefill a decode. Su questa base, un planner online adatta la suddivisione PD alla composizione dei carichi di lavoro, mentre un gestore distribuito della cache KV consapevole degli agenti guida l’espulsione e il trasferimento della cache usando segnali provenienti dalla gestione del contesto degli agenti. Nei task di programmazione, matematica e uso del computer, con GLM-5.2 e Kimi K2.6 e fino a 256 GPU GB300, Evolving Infra riduce la latenza media end-to-end delle richieste e il TTFT P95 rispettivamente fino a 4,1 e 14 volte rispetto a Dynamo, il framework di produzione di NVIDIA.