Vai al contenuto
AI.info

The Pulse

Valkey 9.2 aggiunge funzionalità di backup e replica insieme alla cache per l’IA

Valkey 9.2 è disponibile in via generale con snapshot senza fork, compressione della replica e un nuovo tipo di dato per individuare il contesto IA memorizzato nella cache. Una funzionalità separata di caching distribuito, rilasciata insieme a Valkey, è progettata per riutilizzare il lavoro già calcolato su intere flotte di GPU.

Valkey 9.2 aggiunge funzionalità di backup e replica insieme alla cache per l’IA

Valkey 9.2 è ora disponibile in versione stabile e introduce nuove funzionalità di backup, replica e strutture dati, pensate per ridurre le esigenze infrastrutturali. Una funzionalità open source separata di caching distribuito key-value, rilasciata insieme a Valkey, consente ai motori di inferenza dell’IA di riutilizzare il lavoro già svolto su interi parchi di GPU, ha dichiarato la Linux Foundation il 19 novembre.

Fonte linuxfoundation.org

La nuova versione aggiorna un archivio dati in memoria usato per carichi di lavoro che includono caching, code di messaggi e dati in tempo reale. La cache che la accompagna è pensata per applicazioni di IA che elaborano ripetutamente contenuti come istruzioni dei prompt, definizioni degli strumenti e cronologia delle conversazioni.

Condividere il contesto elaborato dall’IA

La Linux Foundation afferma che la cache distribuita può ridurre i costi di inferenza dell’IA fino al 40% e il tempo al primo token fino all’80%. La funzionalità crea una cache condivisa nell’intero parco di GPU, così che i motori di inferenza possano riutilizzare il lavoro già svolto invece di ricalcolarlo.

Gli sviluppatori che eseguono modelli open-weight con inferenza autogestita possono collegare la cache tramite LMCache, che si integra con motori di inferenza tra cui vLLM e SGLang. La fondazione afferma che la configurazione richiede una sola modifica e nessun aggiornamento al codice dell’applicazione.

Multiverse Computing, che fornisce modelli compressi per l’inferenza, ha dichiarato di aver elaborato il 50% di richieste in più sulle stesse GPU, rispettando il proprio obiettivo di un secondo per la mediana del tempo al primo token, dopo aver aggiunto il caching distribuito su Valkey. Ha riferito una riduzione del 23% della mediana del tempo al primo token con traffico normale e del 95% con traffico di picco.

Per trovare il contesto memorizzato nella cache, Valkey 9.2 introduce Path Hash, un tipo di dato nativo che funge da indice. Una ricerca può individuare il prefisso corrispondente più lungo e la posizione dei risultati memorizzati nella cache, mentre i dati più voluminosi dell’IA restano nella memoria della GPU o in quella host.

Path Hash supporta anche usi che vanno oltre l’IA, tra cui la ricerca di dati gerarchici. Alibaba Cloud ha contribuito al tipo di dato, secondo la dichiarazione a sostegno di Guoyun Zhu, responsabile di Tair R&D presso l’azienda.

Backup senza un processo separato

Valkey 9.2 introduce anche gli snapshot senza fork, che salvano i dati in un thread in background invece di creare un processo separato. La modifica mira a ridurre il sovraccarico temporaneo di memoria che gli snapshot possono causare nei sistemi molto sollecitati.

La funzionalità è facoltativa, secondo l’annuncio della versione pubblicato dal progetto. Abilitare la relativa infrastruttura comporta un costo aggiuntivo di 4 byte per chiave e richiede una configurazione all’avvio del server. Una policy prefer-forkless ricorre a un fork se un’operazione non può essere eseguita senza.

Anche la sincronizzazione completa con le repliche può avvenire senza fork, usando uno snapshot creato da un thread in background per le sincronizzazioni complete basate su disco e quelle senza disco. L’annuncio della versione afferma che questo approccio evita il sovraccarico di memoria copy-on-write che un fork può comportare con carichi di scrittura intensivi.

Compressione e strutture dati più piccole

La compressione continua dei flussi è disponibile per il traffico di replica. La fondazione afferma che il traffico continuo si riduce di circa il 50%-65%, mentre i file di backup si riducono fino all’80% con l’opzione LZ4 integrata. Riferisce inoltre che le nuove repliche si sincronizzano circa il 35% più velocemente, con un costo pari a circa il 2%-4% di un core della CPU per replica.

In un benchmark separato descritto nell’annuncio del progetto, LZ4 ha ridotto la larghezza di banda della replica del 52%, con un overhead di throughput inferiore all’1%, su 3 milioni di chiavi di circa 315 byte ciascuna. La compressione viene negoziata per ogni replica, quindi quelle più vecchie o che non la attivano continuano a ricevere dati in chiaro.

Gli insiemi ordinati di grandi dimensioni usano ora un albero B+ al posto di una skiplist. Il progetto riferisce una riduzione del 36%-43% dell’overhead di memoria per membro in un test con 5 milioni di membri ed elementi da 20 byte; afferma che l’albero compatta anche le foglie sparse quando vengono eliminati dei membri, così che un insieme ordinato che si riduce restituisca memoria.

La versione aggiunge anche ruoli di controllo degli accessi riutilizzabili, il rilevamento lato server delle hot key e la limitazione facoltativa della replica. Quest’ultima rallenta le scritture dei client quando una replica resta indietro, invece di lasciarla disconnettere e costringerla a una sincronizzazione completa.

Fonti

  1. Fonte originale · Comunicato stampa The Linux Foundation linuxfoundation.org

Altre pagine lette

  1. Valkey valkey.io

Notizie correlate

Esplora

Altri articoli