Ingegneria della cache per gli agenti

Abstract degli autori

Gli agenti basati su modelli linguistici di grandi dimensioni (LLM) possono affrontare compiti sempre più complessi, seguendo lunghe sequenze di osservazioni e azioni. Man mano che queste sequenze si allungano, le operazioni di I/O e l’archiviazione della cache chiave-valore (KV) diventano il costo dominante. Le sequenze possono anche superare la lunghezza massima del contesto dell’LLM, rendendo necessario controllare la crescita della cache attiva. I lavori precedenti ricorrono alla gestione del contesto per ridurre le dimensioni della cache, tagliando o riassumendo la cronologia. Modificare il prefisso della sequenza, però, invalida gli stati successivi memorizzati nella cache e impone un nuovo, costoso prefill del contesto conservato. Anche l’accuratezza nei compiti può risentirne, se si conserva troppo poco contesto per contenere i costi del nuovo prefill. Proponiamo l’ingegneria della cache come nuovo approccio. Consente agli agenti di controllare direttamente la propria cache KV attiva senza modificare la sequenza né eseguire un nuovo prefill del contesto conservato. In particolare, gli agenti possono usare preventivamente drop per escludere porzioni selezionate della cache dall’attenzione futura e repos per modificare le codifiche posizionali delle chiavi conservate. Formalizziamo queste operazioni sulla cache e individuiamo nella dipendenza dalla cronologia una sfida per l’erogazione del servizio: sequenze di token identiche possono produrre stati della cache diversi a seconda della sequenza di operazioni eseguite sulla cache, perciò il solo confronto dei prefissi non basta a riutilizzarla correttamente. Abbiamo quindi progettato anche il motore di erogazione AKV. Offre un’interfaccia senza stato compatibile con le API di erogazione esistenti, mentre al suo interno gestisce il riutilizzo della cache con stato, la rimozione degli elementi e il loro ripristino. Gli esperimenti mostrano che una politica di cache rolling-drop applicata alle risposte degli strumenti migliora i punteggi medi nei benchmark di 1,7 punti e riduce i costi medi del 27,7% rispetto alla sintesi convenzionale attivata al superamento di una soglia. Con AKV, raggiunge un throughput in uscita fino a 1,2 volte superiore e un’accelerazione di 1,5 volte in termini di latenza P95 delle richieste. Il perfezionamento ricorsivo delle politiche di cache riduce ulteriormente i costi del 7,1% rispetto a una progettazione condotta da esperti. Il nostro codice è disponibile all’indirizzo https://github.com/thu-nics/AKV.