PReCache: condivisione efficiente della cache KV per agenti Multi-LoRA tramite precomputazione a basso rango e ricostruzione neutra

Abstract degli autori

I sistemi di agenti Multi-LoRA consentono un’efficiente specializzazione dei ruoli condividendo un modello di base comune. Tuttavia, ogni agente elabora ripetutamente la traiettoria condivisa, che continua a crescere, e costruisce la propria cache KV, introducendo una notevole ridondanza nell’uso della memoria e nel calcolo per i compiti di lunga durata. I metodi esistenti per condividere la cache KV riducono questo prefill ripetuto, ma richiedono un addestramento aggiuntivo o vincoli architetturali, oppure comportano ancora un notevole carico di calcolo del modello. Inoltre, il riutilizzo diretto della cache porta l’agente corrente a dipendere dagli stati della cache generati dall’adapter dell’agente precedente, indebolendo il comportamento specifico del ruolo codificato dal proprio LoRA. Presentiamo PReCache, un framework per la condivisione della cache KV che non richiede addestramento e comprende due soluzioni, PreLRShared e ReBaseShared: entrambe condividono la cache di base calcolata con i pesi preaddestrati e precomputano una cache compatta a basso rango (LR) specifica per ciascun agente. Per eliminare il prefill ripetuto, PreLRShared precomputa la cache LR di ciascun agente quando il contesto condiviso viene elaborato per la prima volta, consentendo all’agente corrente di usare la propria cache LR senza rielaborare il contesto già elaborato dagli agenti precedenti. Per migliorare l’accuratezza della condivisione, ReBaseShared ricostruisce la cache di base condivisa a partire da stati nascosti privi di adapter, riducendo l’errore residuo causato dalla rappresentazione adattata dell’agente precedente. Per minimizzare il costo di questa ricostruzione, proponiamo due modalità di inferenza, concepite rispettivamente per l’inferenza a flusso singolo e per la gestione simultanea delle richieste, che eseguono la stessa ricostruzione dopo il turno di ciascun agente oppure parallelamente alla sua esecuzione. Su diversi modelli e benchmark per agenti, PreLRShared ottiene un’accelerazione del TTFT fino a 3,1 volte e un miglioramento del throughput per richiesta fino a 2,3 volte rispetto all’inferenza senza condivisione della cache KV. Nel complesso, ReBaseShared è il metodo che preserva meglio l’accuratezza tra quelli di condivisione della cache valutati, con un calo medio di soli 1,1 punti rispetto all’inferenza senza condivisione della cache.