Fathom: profondità di lettura per query nella decodifica sparsa su cache KV trasferite nella memoria dell’host

Abstract degli autori

Quando le sessioni degli agenti arrivano a un milione di token e molte sessioni restano attive contemporaneamente, la cache KV e l’indice che ne ordina gli elementi per rilevanza risiedono nella memoria dell’host. La scansione di tutte le n chiavi per individuare le top-k diventa così il traffico che limita la decodifica. Presentiamo Fathom, un metodo di scansione delle chiavi in cui ogni query decide quanti bit leggere per ciascun canale delle chiavi. La cache K a 4 bit è memorizzata per canale sotto forma di piani di bit: i primi t piani corrispondono esattamente al quantizzatore a t bit del canale. La query distribuisce il proprio budget di bit mediante reverse water-filling, in base all’importanza dei suoi canali ponderata per la varianza. Con un milione di token su Qwen3-8B, un passo di decodifica è 1,67 volte più rapido in termini di tempo GPU rispetto alle scansioni da 136 bit di Double Sparsity, Loki e SparQ r=32. A parità di tempo GPU con la lettura da 68 bit di SparQ (r=16), Fathom legge il 18% di byte in meno e ottiene un errore di attenzione inferiore in sei delle sette configurazioni di modello e contesto. Nei task in stile RULER, ogni scansione per token eguaglia la decodifica top-k esatta; nelle sessioni reali di agenti di programmazione, Fathom raggiunge con 92 bit la stessa concordanza per passo della più accurata scansione da 136 bit. La struttura di archiviazione è la copia di K a 4 bit che uno stack di serving quantizzato conserva già; il metodo non è più veloce quando l’indice risiede nella memoria della GPU.