Vai al contenuto
AI.info

The Pulse

SageMaker aggiunge l’instradamento consapevole della cache per endpoint IA in tempo reale

Amazon SageMaker AI può instradare le richieste ai modelli utilizzando i contenuti della cache segnalati e il carico delle istanze. AWS afferma che l’opzione è disponibile senza costi aggiuntivi e richiede un container vLLM supportato.

SageMaker aggiunge l’instradamento consapevole della cache per endpoint IA in tempo reale

Instradamento in base ai contenuti della cache

Amazon SageMaker AI può ora instradare le richieste ai modelli in tempo reale utilizzando i dati dei prompt memorizzati nella cache da ciascuna istanza di serving e il carico di lavoro dell’istanza. La funzionalità, resa pubblica da Amazon Web Services il 16 novembre, è pensata per carichi di lavoro come le conversazioni a più turni e le richieste con prompt condivisi lunghi.

L’opzione, chiamata instradamento consapevole della cache KV, indirizza una richiesta verso un’istanza con un prefisso del prompt memorizzato nella cache corrispondente, valutando al contempo la lunghezza della corrispondenza e il carico dell’istanza. È disponibile in tutte le Regioni AWS in cui è disponibile SageMaker AI, senza costi aggiuntivi.

Una cache key-value, o KV, conserva il lavoro già svolto da un modello su un prompt, così che possa essere riutilizzato quando ricompare lo stesso inizio. Questo testo ripetuto può comprendere un prompt di sistema, un documento o i turni precedenti di una conversazione.

Come sceglie il router

La nuova strategia utilizza gli eventi della cache segnalati dal container del modello per mantenere un indice delle istanze che contengono dati memorizzati nella cache. Quando arriva una richiesta, l’endpoint tokenizza il prompt e controlla nell’indice se ci sono token memorizzati nella cache corrispondenti.

L’indice contiene hash troncati e unidirezionali associati all’istanza pertinente o alla copia del componente di inferenza; non memorizza prompt, ID dei token, payload delle richieste o tensori KV. Se la ricerca è lenta, non trova corrispondenze utili o rileva che tutte le istanze corrispondenti sono occupate, l’endpoint ricorre all’instradamento basato sul carico.

La strategia esistente di SageMaker, consapevole dei prefissi, invece deduce in base all’inizio della richiesta dove è probabile che si trovino i dati memorizzati nella cache. Non può rilevare quando un’istanza ha eliminato una voce della cache e una conversazione che si allunga può essere inviata a istanze diverse finché il suo testo resta più breve della lunghezza del prefisso configurata.

L’opzione consapevole della cache confronta i token, anziché un numero fisso di byte, consentendole di trovare corrispondenze con una cronologia della conversazione che si allunga. Tiene conto anche del carico dell’istanza, invece di inviare sempre una richiesta all’istanza con la corrispondenza più lunga.

Benchmark e overhead

AWS afferma che i suoi benchmark hanno rilevato che, rispetto all’instradamento casuale, la nuova strategia ha ridotto fino al 97 per cento il tempo mediano al primo token e aumentato fino al 234 per cento la velocità effettiva per prompt lunghi sotto carico. Il tempo al primo token misura quanto tempo occorre perché inizi una risposta.

I test hanno utilizzato Llama 3.1 70B Instruct su sette istanze ml.p5.48xlarge. Sono durati 30 minuti, con 20 o 100 utenti simulati impegnati in chat a più turni e sessioni di domande e risposte su documenti, utilizzando prompt fino a circa 64.000 token.

AWS ha riferito che, in quei benchmark, i tassi di cache hit sono passati dal 3–48 per cento all’80–93 per cento. L’azienda afferma che i risultati dipendono dal carico di lavoro e che il guadagno è stato il più ridotto con i prompt brevi, per i quali si può risparmiare meno elaborazione.

La ricerca nella cache aggiunge alcuni millisecondi per i prompt brevi e tempi più lunghi per quelli lunghi, soprattutto a causa della tokenizzazione, secondo AWS. Per le richieste di solo testo che utilizzano opzioni standard, i token calcolati vengono passati al modello, così il prompt non viene tokenizzato due volte.

Requisiti e configurazione

Per abilitare la strategia, i clienti impostano RoutingStrategy su KV_AWARE nella configurazione dell’endpoint e aggiungono la variabile d’ambiente SM_VLLM_KV_EVENTS_CONFIG al container del modello. I client continuano a chiamare l’endpoint tramite le stesse API.

È richiesto AWS vLLM Deep Learning Container versione 0.33.0 o successiva e sono necessarie almeno due istanze o copie di componenti di inferenza. L’opzione supporta endpoint con un singolo modello e componenti di inferenza, inclusi gli adattatori LoRA, su istanze GPU.

Le metriche del tasso di cache hit sono disponibili, ma al lancio i passaggi all’instradamento basato sul carico non vengono riportati nella console o nelle metriche di SageMaker AI. Con una sola istanza, tutte le richieste vengono inviate a quell’istanza e l’impostazione di instradamento non ha effetto.

Fonti

  1. Amazon Web Services
  2. Amazon Web Services

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli