# AWS leitet HyperPod-Inferenz über Cluster hinweg über einen einzigen Endpunkt

Published 2026-11-21 · AI.info Team · AI.info

> Amazon SageMaker HyperPod verfügt über ein globales Gateway, das Inferenzanfragen über registrierte Cluster in einer oder mehreren AWS-Regionen weiterleitet. Das Gateway wählt anhand konfigurierbarer Gewichtungen gesunde Cluster aus und leitet den Datenverkehr automatisch von ausgefallenen Clustern weg.

Ein neues Gateway für Amazon SageMaker HyperPod leitet KI-Inferenzanfragen über registrierte Cluster hinweg über einen einzigen Endpunkt weiter, auch wenn sich die Cluster in verschiedenen AWS-Regionen befinden. Das Global Inference Gateway wählt für jede Anfrage einen gesunden Cluster aus und leitet den Datenverkehr automatisch von einem ausgefallenen Cluster weg, teilte [Amazon Web Services](https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/) in einem am 20. November veröffentlichten technischen Beitrag mit.

Der Dienst ergänzt das bestehende clusterbezogene Inference Gateway von HyperPod um eine weitere Ebene. Dieses wählt weiterhin den Modell-Pod innerhalb des ausgewählten Clusters aus. AWS betreibt die globale Routing-Flotte und die privaten Verbindungen zu den Clustern. Die Kunden entscheiden, welche Cluster sie veröffentlichen und hinter einem Gateway zusammenfassen.

## Von Cluster-Endpunkten zu einem Gateway

In einem Beispiel aus dem AWS-Beitrag müsste ein Team, das vier Modelle über fünf HyperPod-Cluster in zwei Regionen bereitstellt, andernfalls 20 Endpunkte verwalten – einen für jedes Modell auf jedem Cluster. Das bestehende Inference Gateway reduziert diese Zahl auf fünf Endpunkte, überlässt es den Clients aber, einen Cluster auszuwählen. Das globale Gateway bietet einen einzigen Endpunkt für alle registrierten Cluster.

Für jede Anfrage bewertet das neue Gateway gesunde Cluster anhand des verfügbaren Key-Value-Caches und GPU-Speichers, der Warteschlangentiefe, der regionalen Nähe und der jüngsten Fehler. Ein Metrik-Publisher auf jedem Cluster liefert dessen Auslastungssignale.

Die Standardgewichtungen betragen 0,20 für freie Kapazitäten bei Cache und GPU-Speicher, 0,25 für die Warteschlangentiefe, 0,40 für die regionale Nähe und 0,15 für die Fehlerrate. Jede benutzerdefinierte Gewichtung kann zwischen 0,0 und 1,0 liegen. Kunden, die Gewichtungen festlegen, müssen alle vier angeben; ihre Summe muss 1,0 ergeben. Eine Gewichtung von null schaltet das jeweilige Signal aus.

In Betatests nutzte Bagelcode einen einzigen Endpunkt, um Anfragen über zwei AWS-Regionen hinweg weiterzuleiten, sagte Jinhyung Park, Vizepräsident für die KI-Plattform des Unternehmens. Park sagte, das Gateway habe „die Anfragen weiterhin bedient, als ein Cluster das Modell nicht mehr bereitstellen konnte“.

## Cluster veröffentlichen und verbinden

Damit ein Cluster erreichbar ist, aktiviert ein Kunde das globale Routing in seiner bestehenden InferenceGatewayConfig. Der HyperPod-Inference-Controller veröffentlicht den Cluster anschließend privat aus dem Kundenkonto heraus. Kunden erstellen das globale Gateway, indem sie CreateGlobalInferenceGateway mit den Clustern aufrufen, die es verwenden soll.

Wird ein Cluster veröffentlicht, erstellt der Controller vor dessen Inference Gateway einen Network Load Balancer, veröffentlicht einen Endpunktdienst für eine Virtual Private Cloud und lädt das Listener-Zertifikat in den TLS-Bucket des Kunden hoch. Ein Aufruf zur Gateway-Erstellung schlägt fehl, wenn darin ein nicht veröffentlichter Cluster aufgeführt ist.

Clients senden OpenAI-kompatible, mit AWS Signature Version 4 – bekannt als SigV4 – signierte Anfragen an den regionalen Endpunkt des Gateways. Nach der Authentifizierung und der Auswahl eines Clusters leitet AWS PrivateLink die Anfrage an den Cluster weiter, wo das bestehende Gateway sie an einen Modell-Pod weiterleitet.

## Zugriff und Betrieb

Der Dienst prüft SigV4-Signaturen, Berechtigungen in AWS Identity and Access Management und Ratenbegrenzungen, bevor Anfragen einen Cluster erreichen. Aufrufende benötigen die Berechtigung, das Gateway aufzurufen; für Streaming-Antworten gilt eine separate Berechtigungsaktion.

Das Gateway protokolliert oder speichert weder Prompts noch Completion-Ausgaben. Kunden können die Routing-Gewichtungen nach der Erstellung ändern, einen vorbereiteten Cluster hinzufügen oder einen Cluster abtrennen. Wird ein Cluster hinzugefügt, überprüft das Gateway ihn und leitet Anfragen an ihn weiter, sobald er gesund ist.

## Quellen

1. Originalquelle · Blogbeitrag [Amazon Web Services](https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-global-inference-gateway-one-endpoint-across-regions-and-clusters/) aws.amazon.com

## Unternehmen in dieser Meldung

- [Amazon](https://ai.info/de/companies/amazon)
- [Amazon Web Services](https://ai.info/de/companies/amazon-web-services)

## Verwandte Meldungen

- [Salesforce nutzt SageMaker-Routing, um Modellanfragen zwischen Regionen zu verschieben](https://ai.info/de/news/salesforce-sagemaker-cross-region-inference-routing)
- [AWS-Kunden können PolyAIs Sprachdialogmodell jetzt über SageMaker JumpStart bereitstellen](https://ai.info/de/news/polyai-dialog-rsn-1-sagemaker-jumpstart)
- [AWS ergänzt SageMaker HyperPod um die Wiederherstellung hängender Jobs und Prüfungen](https://ai.info/de/news/aws-sagemaker-hyperpod-workload-recovery-checks)
- [AWS ermöglicht KI-Agenten, Marketplace-Käufe über Cloud-Konten abzurechnen](https://ai.info/de/news/aws-agentcore-marketplace-payments-billing)
- [AWS ergänzt SageMaker JumpStart um eine Modell-Rangliste](https://ai.info/de/news/aws-sagemaker-jumpstart-model-leaderboard)

## Entdecken

[Weitere Artikel](https://ai.info/de/news)

---

Canonical: https://ai.info/de/news/aws-hyperpod-global-inference-gateway
