SparseEngine: un motore di inferenza progettato per la sparsità fin dall’inizio

Abstract degli autori

Gli agenti basati su LLM a contesto lungo accumulano cronologie di interazione che mettono sotto pressione la memoria della cache KV e il calcolo dell’attenzione. Sebbene l’attenzione sparsa riduca questi costi, le rappresentazioni eterogenee della cache e i diversi flussi di lavoro ostacolano l’integrazione con i motori di inferenza esistenti, mentre le precedenti astrazioni per il serving sparso supportano solo specifiche disposizioni dei dati o flussi di lavoro. Presentiamo SparseEngine, un motore di inferenza progettato da zero per la sparsità: il suo contratto condiviso per il ciclo di vita consente a ciascun metodo di controllare la propria rappresentazione KV e il proprio calcolo, coordinando al tempo stesso le transizioni di stato con l’infrastruttura di serving comune. SparseEngine supporta 15 metodi in quattro categorie e permette di gestire lo stato tra richieste diverse tramite Chain Cache, che riprende i metodi di espulsione dalla cache KV a partire dalla cronologia conservata, e Prefix-Cache Pruning controllabile, che rimuove i dati KV da regioni selezionate della cronologia preservando la corrispondenza dei prefissi logici. Pur mantenendo la qualità dei metodi, SparseEngine offre un throughput oltre 10 volte maggiore con l’espulsione dalla cache KV, una decodifica oltre 2,5 volte più veloce rispetto a vLLM a parità di concorrenza e un’accelerazione end-to-end superiore a 2 volte nei benchmark per agenti. Il codice è disponibile all’indirizzo https://github.com/CURRENTF/SparseEngine.