Ir al contenido
AI.info

The Pulse

Valkey 9.2 añade funciones de copia de seguridad y replicación junto con una caché de IA

Valkey 9.2 ya está disponible de forma general con instantáneas sin fork, compresión de la replicación y un nuevo tipo de datos para encontrar contexto de IA almacenado en caché. Una capacidad independiente de caché distribuida lanzada junto con esta versión está diseñada para reutilizar el trabajo ya calculado en flotas de GPU.

Valkey 9.2 añade funciones de copia de seguridad y replicación junto con una caché de IA

Valkey 9.2 ya está disponible de forma general e incorpora nuevas funciones de copia de seguridad, replicación y estructuras de datos destinadas a reducir las exigencias de infraestructura. Una funcionalidad independiente de caché distribuida de clave-valor y de código abierto, lanzada junto con esta versión, permite a los motores de inferencia de IA reutilizar trabajo ya calculado en flotas de GPU, según informó la Linux Foundation el 19 de noviembre.

Fuente linuxfoundation.org

La versión actualiza un almacén de datos en memoria que se usa en cargas de trabajo como la caché, las colas de mensajes y los datos en tiempo real. La caché que la acompaña está pensada para aplicaciones de IA que procesan repetidamente materiales como instrucciones de prompts, definiciones de herramientas e historial de conversaciones.

Compartir el contexto de IA ya calculado

La Linux Foundation afirma que la caché distribuida puede reducir los costes de inferencia de IA hasta un 40 % y el tiempo hasta el primer token hasta un 80 %. Esta funcionalidad crea una caché compartida en una flota de GPU para que los motores de inferencia puedan reutilizar trabajo ya calculado en lugar de volver a calcularlo.

Los desarrolladores que ejecutan modelos de pesos abiertos con inferencia autogestionada pueden conectar la caché mediante LMCache, que se integra con motores de inferencia como vLLM y SGLang. La fundación afirma que la configuración requiere un único cambio y no exige actualizar el código de la aplicación.

Multiverse Computing, que ofrece modelos comprimidos para inferencia, afirmó que, tras añadir la caché distribuida en Valkey, procesó un 50 % más de solicitudes con las mismas GPU y dentro de su objetivo de un segundo para la mediana del tiempo hasta el primer token. Informó de una reducción del 23 % en la mediana del tiempo hasta el primer token con tráfico normal y del 95 % con tráfico máximo.

Para localizar el contexto almacenado en caché, Valkey 9.2 incorpora Path Hash, un tipo de datos nativo que funciona como índice. Una búsqueda puede encontrar el prefijo coincidente más largo y la ubicación de sus resultados almacenados en caché, mientras que los datos de IA más voluminosos permanecen en la memoria de la GPU o del host.

Path Hash también admite usos más allá de la IA, como las búsquedas de datos jerárquicos. Alibaba Cloud contribuyó el tipo de datos, según la declaración de apoyo de Guoyun Zhu, responsable de I+D de Tair en la empresa.

Copias de seguridad sin un proceso separado

Valkey 9.2 también incorpora instantáneas sin fork, que guardan los datos en un hilo en segundo plano en lugar de crear un proceso separado. El cambio apunta a la sobrecarga temporal de memoria que las instantáneas pueden causar en sistemas con mucha actividad.

La función es optativa, según la publicación de lanzamiento del proyecto. Habilitar su infraestructura añade un coste de 4 bytes por clave y debe configurarse al iniciar el servidor. Una política prefer-forkless recurre a un fork si una operación no puede ejecutarse sin él.

La sincronización completa con las réplicas también puede ejecutarse sin recurrir a un fork, mediante una instantánea en un hilo en segundo plano para las sincronizaciones completas basadas en disco y las que no usan disco. La publicación de lanzamiento afirma que este enfoque evita la sobrecarga de memoria de la copia en escritura que puede generar un fork con cargas de trabajo con muchas escrituras.

Compresión y estructuras de datos más pequeñas

La compresión continua de flujos está disponible para el tráfico de replicación. La fundación afirma que el tráfico continuo se reduce aproximadamente entre un 50 % y un 65 %, mientras que los archivos de copia de seguridad se reducen hasta un 80 % con la opción LZ4 integrada. También informa de que las nuevas réplicas se sincronizan aproximadamente un 35 % más rápido, a un coste de alrededor del 2 % al 4 % de un núcleo de CPU por réplica.

En una prueba de rendimiento independiente descrita en la publicación del proyecto, LZ4 redujo el ancho de banda de replicación un 52 %, con una sobrecarga de caudal inferior al 1 %, en un conjunto de 3 millones de claves de unos 315 bytes cada una. La compresión se negocia por réplica, por lo que las réplicas antiguas o las que optan por no usarla siguen recibiendo texto sin cifrar.

Los conjuntos ordenados grandes usan ahora un árbol B+ en lugar de una lista de saltos. El proyecto informa de una reducción del 36 % al 43 % en la sobrecarga de memoria por miembro en una prueba con 5 millones de miembros y elementos de 20 bytes; también afirma que el árbol compacta las hojas dispersas cuando se eliminan miembros, por lo que un conjunto ordenado que se reduce libera memoria.

La versión también incorpora roles de control de acceso reutilizables, detección de claves calientes en el servidor y limitación optativa de la replicación. Esta función de limitación ralentiza las escrituras de los clientes cuando una réplica se queda atrás, en lugar de permitir que se desconecte y requiera una sincronización completa.

Fuentes

  1. Fuente original · Nota de prensa The Linux Foundation linuxfoundation.org

Otras páginas leídas

  1. Valkey valkey.io

Noticias relacionadas

Explora

Más artículos