Vai al contenuto
AI.info

The Pulse

AMD segnala il riutilizzo della cache dei token in un benchmark di agenti di programmazione

AMD afferma che il suo motore di inferenza ATOM ha riutilizzato il 94,1% dei token del prompt con 48 sessioni simultanee di agenti di programmazione in una sessione del benchmark. In una configurazione separata con 56 sessioni, la velocità ha raggiunto fino a 17,5K token totali al secondo per chip, compresi quelli di input memorizzati nella cache.

AMD segnala il riutilizzo della cache dei token in un benchmark di agenti di programmazione

Il motore di inferenza ATOM di AMD ha riutilizzato il 94,1% dei token del prompt tra la memoria GPU e quella CPU con 48 sessioni simultanee di agenti di programmazione in una sessione del benchmark, afferma l’azienda. In una configurazione separata con 56 sessioni, AMD ha riferito una velocità fino a 17,5K token totali al secondo per chip su otto GPU Instinct MI355X.

Fonte rocm.blogs.amd.com

Il dato sulla velocità comprende sia i token di input sia quelli di output, compresi quelli di input memorizzati nella cache, e non soltanto i token generati ex novo. Un risultato separato con una singola sessione ha registrato un’interattività P90 di 152 token di output al secondo per utente. Il post del 17 novembre descrive i risultati di una prova del 15 ottobre del benchmark InferenceX AgentX di SemiAnalysis, condotta con il modello Kimi-K3.

Riprodurre sessioni di programmazione

AgentX riproduce un corpus pubblico di sessioni di Claude Code composto da 393 sessioni e 98.827 richieste al modello. Secondo il post, il corpus ha un input mediano di 142.016 token e un output mediano di 444 token. I conteggi dei token si basano sui blocchi da 64 token della traccia, anziché sul tokenizer di Kimi-K3.

La riproduzione mantiene le dimensioni delle richieste, i prefissi condivisi, le dipendenze e la temporizzazione, ma sostituisce il codice originale e l’output degli strumenti con token sintetici. AgentX conta gli alberi di sessione attivi simultaneamente anziché le singole richieste, perciò una singola sessione può avere più richieste in corso contemporaneamente.

Gli agenti di programmazione inviano ripetutamente la cronologia precedente della conversazione insieme al nuovo input. In un esempio scelto per il post, la 48ª chiamata invia 195,5K token, di cui solo 1,3K sono nuovi. Il post afferma che la sessione illustra i modelli di carico di lavoro, ma non rappresenta una media del corpus.

Dove risiede la cronologia memorizzata nella cache

ATOM memorizza la cronologia riutilizzabile nella memoria ad alta larghezza di banda della GPU e può estendere la cache alla DRAM della CPU usando LMCache. Ripristinare la cronologia dalla memoria della CPU aumenta la capacità di conservazione, a fronte di costi di trasferimento; la configurazione descritta non usa un livello SSD.

Kimi-K3 combina strati di multi-head latent attention, o MLA, con strati di Kimi Delta Attention, o KDA. Una richiesta può riprendere da un confine coperto dalla cache solo quando in quel punto sono disponibili sia la cache key-value MLA sia un checkpoint KDA. In caso contrario, ATOM torna al confine utilizzabile precedente oppure elabora l’input dall’inizio.

Con 48 sessioni simultanee, la configurazione aggiunge 128 GiB di DRAM della CPU per ogni rank della GPU tramite LMCache. Ogni MI355X ha 288 GB di HBM3E; AMD stima che i pesi del modello occupino circa 195 GB per GPU, lasciando all’incirca 64 GB per i buffer di runtime e lo stato memorizzato nella cache, dopo aver accantonato una riserva del 10%.

Per la stessa prova con 48 sessioni, AMD afferma che il 77,3% dei token del prompt è stato riutilizzato dalla memoria GPU e il 16,8% è stato ripristinato dalla DRAM della CPU. Il 94,1% complessivo è un dato di riutilizzo relativo a quella prova, non una misurazione diretta del miglioramento della velocità rispetto a una configurazione senza caching.

Pianificazione e decodifica

Anche le nuove richieste richiedono l’elaborazione dell’input, detta prefill, mentre le richieste esistenti generano output. Il post descrive PrefillDelayer, che trattiene e raggruppa i prefill brevi in modo che gli agenti attivi possano continuare a generare, nonché ReplaySSM per compattare lo stato speculativo e il parallelismo del contesto in decodifica per distribuire la cache key-value MLA tra le GPU.

ATOM usa anche kernel persistenti di decodifica Mono, scritti in FlyDSL, per combinare il lavoro all’interno di un passaggio di decodifica. La cronologia memorizzata nella cache evita di ripetere il prefill, ma i token generati richiedono comunque attenzione su quella cronologia e altri calcoli per ogni passaggio.

Fonte

  1. AMD ROCm Blogs

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli