The Pulse
Valkey 9.2 ergänzt Backup- und Replikationsfunktionen; parallel dazu kommt ein KI-Cache
Valkey 9.2 ist allgemein verfügbar und bietet forklose Snapshots, Replikationskomprimierung und einen neuen Datentyp, um gecachten KI-Kontext zu finden. Eine separate, parallel dazu veröffentlichte verteilte Caching-Funktion soll es ermöglichen, berechnete Ergebnisse in GPU-Flotten wiederzuverwenden.

Valkey 9.2 ist allgemein verfügbar und bietet neue Backup-, Replikations- und Datenstruktur-Funktionen, die den Infrastrukturbedarf senken sollen. Eine separate, parallel dazu veröffentlichte Open-Source-Funktion für verteiltes Key-Value-Caching ermöglicht es KI-Inferenz-Engines, berechnete Ergebnisse in GPU-Flotten wiederzuverwenden, teilte die Linux Foundation am 19. November mit.
Quelle linuxfoundation.org
Die Version aktualisiert einen In-Memory-Datenspeicher, der unter anderem für Caching, Nachrichtenwarteschlangen und Echtzeitdaten verwendet wird. Der begleitende Cache ist für KI-Anwendungen gedacht, die wiederholt Material wie Prompt-Anweisungen, Tool-Definitionen und den Gesprächsverlauf verarbeiten.
KI-Kontext gemeinsam nutzen
Die Linux Foundation zufolge kann der verteilte Cache die Kosten für KI-Inferenz um bis zu 40 % und die Zeit bis zum ersten Token um bis zu 80 % senken. Die Funktion schafft einen gemeinsamen Cache für eine GPU-Flotte, sodass Inferenz-Engines berechnete Ergebnisse wiederverwenden können, statt sie erneut zu berechnen.
Entwickler, die Open-Weight-Modelle mit selbstverwalteter Inferenz betreiben, können den Cache über LMCache anbinden, das sich in Inferenz-Engines wie vLLM und SGLang integrieren lässt. Die Foundation zufolge ist dafür nur eine Änderung der Konfiguration nötig; Aktualisierungen am Anwendungscode sind nicht erforderlich.
Multiverse Computing, das komprimierte Modelle für die Inferenz bereitstellt, erklärte, dass das Unternehmen nach der Einführung von verteiltem Caching auf Valkey auf denselben GPUs 50 % mehr Anfragen innerhalb seines Ein-Sekunden-Ziels für die mediane Zeit bis zum ersten Token verarbeitet habe. Bei normalem Datenverkehr sei die mediane Zeit bis zum ersten Token um 23 % und bei Spitzenverkehr um 95 % gesunken.
Um gecachten Kontext zu finden, ergänzt Valkey 9.2 Path Hash, einen nativen Datentyp, der als Index dient. Eine Abfrage kann das längste übereinstimmende Präfix und den Speicherort der dazugehörigen gecachten Ergebnisse finden, während die größeren KI-Daten im GPU- oder Host-Speicher verbleiben.
Path Hash unterstützt neben KI auch andere Anwendungsfälle, darunter hierarchische Datenabfragen. Alibaba Cloud steuerte den Datentyp bei, wie aus einer begleitenden Erklärung von Guoyun Zhu, Leiter der Forschung & Entwicklung für Tair bei dem Unternehmen, hervorgeht.
Backups ohne separaten Prozess
Valkey 9.2 führt außerdem forklose Snapshots ein, die Daten in einem Hintergrund-Thread speichern, statt einen separaten Prozess zu erstellen. Die Änderung zielt auf den vorübergehenden zusätzlichen Speicherbedarf ab, den Snapshots auf stark ausgelasteten Systemen verursachen können.
Die Funktion ist optional, heißt es im Release-Beitrag des Projekts. Für ihre Infrastruktur fallen zusätzliche 4 Byte pro Schlüssel an; sie muss beim Serverstart konfiguriert werden. Eine „prefer-forkless“-Richtlinie weicht auf einen Fork aus, wenn sich ein Vorgang nicht ohne einen solchen ausführen lässt.
Auch die vollständige Synchronisierung mit Replikaten kann ohne Fork erfolgen: Bei vollständigen Synchronisierungen mit und ohne Festplattenzugriff kommt dafür ein Snapshot in einem Hintergrund-Thread zum Einsatz. Laut Release-Beitrag vermeidet dieses Vorgehen den Copy-on-Write-Speichermehraufwand, der bei einem Fork unter einer hohen Schreiblast entstehen kann.
Komprimierung und kleinere Datenstrukturen
Für den Replikationsverkehr ist eine kontinuierliche Stream-Komprimierung verfügbar. Der Foundation zufolge wird der laufende Datenverkehr um etwa 50 % bis 65 % reduziert, während Backup-Dateien mit der integrierten LZ4-Option um bis zu 80 % kleiner werden. Außerdem berichtet sie, dass neue Replikate etwa 35 % schneller synchronisiert werden – bei einem Aufwand von etwa 2 % bis 4 % eines CPU-Kerns pro Replikat.
In einem separaten, im Projektbeitrag beschriebenen Benchmark verringerte LZ4 die Replikationsbandbreite bei 3 Millionen Schlüsseln mit jeweils etwa 315 Byte um 52 %, bei einem Durchsatz-Overhead von weniger als 1 %. Die Komprimierung wird pro Replikat ausgehandelt, sodass ältere Replikate und Replikate, für die sie deaktiviert ist, weiterhin Klartext erhalten.
Große sortierte Mengen verwenden nun einen B+-Baum statt einer Skiplist. Bei einem Test mit 5 Millionen Elementen mit jeweils 20 Byte verzeichnete das Projekt eine Verringerung des Speicher-Overheads pro Element um 36 % bis 43 %. Der Baum verdichte außerdem spärlich belegte Blätter, wenn Elemente gelöscht würden, sodass eine schrumpfende sortierte Menge Speicher zurückgebe.
Die Version ergänzt außerdem wiederverwendbare Zugriffskontrollrollen, eine serverseitige Erkennung besonders häufig genutzter Schlüssel und eine optionale Drosselung der Replikation. Die Drosselungsfunktion verlangsamt Schreibvorgänge von Clients, wenn ein Replikat in Rückstand gerät, statt zuzulassen, dass es die Verbindung trennt und eine vollständige Synchronisierung erforderlich wird.
Quellen
- Originalquelle · Pressemitteilung The Linux Foundation linuxfoundation.org
Weitere gelesene Seiten
- Valkey valkey.io
Verwandte Meldungen
- NVIDIA erläutert Dynamo-Werkzeuge für Rollouts beim bestärkenden Lernen
- Quad-Staats- und Regierungschefs unterstützen KI-Beschleuniger für den Zugang im Indopazifik
- Aikido weitet KI-Penetrationstests auf iOS-Apps aus
- Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs
- DMM und Algomatic Dynamics bringen Router für 60 oder mehr KI-Modelle an den Start