The Pulse
Valkey 9.2 ajoute des fonctions de sauvegarde et de réplication, en parallèle du lancement d’un cache pour l’IA
Valkey 9.2 est désormais disponible avec des instantanés sans fork, la compression de la réplication et un nouveau type de données permettant de retrouver le contexte d’IA mis en cache. Une fonctionnalité distincte de mise en cache distribuée clé-valeur, publiée en parallèle, est conçue pour réutiliser les calculs effectués sur des parcs de GPU.

Valkey 9.2 est désormais disponible avec de nouvelles fonctionnalités de sauvegarde, de réplication et de structures de données destinées à réduire les besoins en infrastructure. Une fonctionnalité distincte de mise en cache distribuée clé-valeur open source, publiée en parallèle, permet aux moteurs d’inférence de l’IA de réutiliser les calculs effectués sur des parcs de GPU, a déclaré la Linux Foundation le 19 novembre.
Source linuxfoundation.org
Cette version met à jour un magasin de données en mémoire utilisé pour des charges de travail telles que la mise en cache, les files de messages et les données en temps réel. Le cache associé est destiné aux applications d’IA qui traitent de manière répétée des éléments tels que les instructions de prompt, les définitions d’outils et l’historique des conversations.
Partager le contexte d’IA calculé
Selon la Linux Foundation, le cache distribué peut réduire les coûts d’inférence de l’IA jusqu’à 40 % et le temps jusqu’au premier token jusqu’à 80 %. Cette fonctionnalité crée un cache partagé sur un parc de GPU, afin que les moteurs d’inférence puissent réutiliser les calculs effectués plutôt que de les refaire.
Les développeurs qui exécutent des modèles à poids ouverts avec une inférence autogérée peuvent connecter le cache via LMCache, qui s’intègre à des moteurs d’inférence tels que vLLM et SGLang. La fondation affirme que cette configuration ne nécessite qu’une seule modification de configuration et aucune mise à jour du code de l’application.
Multiverse Computing, qui fournit des modèles compressés pour l’inférence, a déclaré avoir traité 50 % de requêtes supplémentaires sur les mêmes GPU, tout en respectant son objectif d’une seconde pour le temps médian jusqu’au premier token, après avoir ajouté la mise en cache distribuée sur Valkey. L’entreprise a fait état d’une réduction de 23 % du temps médian jusqu’au premier token en situation de trafic normal et de 95 % en période de trafic de pointe.
Pour retrouver le contexte mis en cache, Valkey 9.2 ajoute Path Hash, un type de données natif qui sert d’index. Une recherche peut trouver le préfixe correspondant le plus long et l’emplacement des résultats mis en cache, tandis que les données d’IA plus volumineuses restent dans la mémoire GPU ou la mémoire hôte.
Path Hash peut également servir à d’autres usages que l’IA, notamment aux recherches dans des données hiérarchiques. Alibaba Cloud a contribué à ce type de données, selon la déclaration de soutien de Guoyun Zhu, responsable de la R&D de Tair au sein de l’entreprise.
Des sauvegardes sans processus distinct
Valkey 9.2 introduit également des instantanés sans fork, qui enregistrent les données sur un thread d’arrière-plan au lieu de créer un processus distinct. Cette évolution vise à réduire le surcroît temporaire de mémoire que les instantanés peuvent entraîner sur les systèmes fortement sollicités.
Cette fonctionnalité est activée en option, selon l’annonce de la version publiée par le projet. L’activation de son infrastructure coûte 4 octets supplémentaires par clé et doit être configurée au démarrage du serveur. Une politique prefer-forkless revient à un fork lorsqu’une opération ne peut pas s’exécuter sans celui-ci.
La synchronisation complète vers les réplicas peut également s’effectuer sans fork, grâce à un instantané exécuté sur un thread d’arrière-plan pour les synchronisations complètes avec ou sans disque. L’annonce de la version indique que cette approche évite le surcoût mémoire lié à la copie sur écriture qu’un fork peut entraîner lorsque la charge comporte de nombreuses écritures.
Compression et structures de données plus compactes
La compression continue des flux est disponible pour le trafic de réplication. La fondation affirme que le trafic continu est réduit d’environ 50 % à 65 %, tandis que les fichiers de sauvegarde diminuent jusqu’à 80 % avec l’option LZ4 intégrée. Elle fait également état d’une synchronisation des nouveaux réplicas environ 35 % plus rapide, au prix d’environ 2 % à 4 % d’un cœur CPU par réplica.
Dans un benchmark distinct décrit dans l’annonce du projet, LZ4 a réduit la bande passante de réplication de 52 %, avec un surcoût de débit inférieur à 1 %, sur 3 millions de clés d’environ 315 octets chacune. La compression est négociée pour chaque réplica : les réplicas plus anciens ou ceux qui la désactivent continuent donc de recevoir des données en texte clair.
Les grands ensembles triés utilisent désormais un arbre B+ à la place d’une liste à sauts. Le projet fait état d’une réduction de 36 % à 43 % du surcoût mémoire par élément lors d’un test portant sur 5 millions d’éléments de 20 octets ; il indique que l’arbre compacte également les feuilles peu remplies lorsque des éléments sont supprimés, de sorte qu’un ensemble trié qui rétrécit restitue de la mémoire.
Cette version ajoute également des rôles de contrôle d’accès réutilisables, la détection côté serveur des clés très sollicitées et la limitation facultative du débit de réplication. Cette fonctionnalité ralentit les écritures des clients lorsqu’un réplica prend du retard, au lieu de le laisser se déconnecter et nécessiter une synchronisation complète.
Sources
- Source originale · Communiqué de presse The Linux Foundation linuxfoundation.org
Autres pages lues
- Valkey valkey.io
Articles liés
- NVIDIA détaille les outils Dynamo pour les séquences de génération en apprentissage par renforcement
- Les dirigeants du Quad soutiennent un accélérateur d’IA pour faciliter l’accès à l’IA dans l’Indo-Pacifique
- Aikido étend ses tests d’intrusion par l’IA aux applications iOS
- Unsloth Desktop ajoute l’inférence locale sur les NPU AMD XDNA 2 des PC Ryzen AI
- DMM et Algomatic Dynamics lancent un routeur pour 60 modèles d’IA ou plus