Zum Inhalt springen
AI.info

The Pulse

Salesforce nutzt SageMaker-Routing, um Modellanfragen zwischen Regionen zu verschieben

Salesforce hat den regionsübergreifenden Inferenz-Router von Amazon SageMaker AI in sein internes Gateway für die Modellbereitstellung integriert. Der Router kann Anfragen an andere bereitgestellte Endpunkte weiterleiten, wenn lokale Ziele Fehler aufweisen. Anfragen mit Anforderungen an die Datenresidenz bleiben dagegen in der jeweiligen Region.

Salesforce nutzt SageMaker-Routing, um Modellanfragen zwischen Regionen zu verschieben

Salesforce nutzt Amazon SageMaker AI, um Modellanfragen zwischen bereitgestellten Endpunkten in verschiedenen Regionen weiterzuleiten und damit die Failover-Logik in seinem internen Gateway zu ersetzen. Ein am 18. November veröffentlichter Beitrag von Amazon Web Services beschreibt, wie das System den Datenverkehr verlagert, wenn lokale Ziele Fehler aufweisen, während Anfragen mit Anforderungen an die Datenresidenz in ihrer festgelegten Region bleiben.

Das Agentforce-Foundation-Team stellt laut AWS Modelle für Produkte wie Agentforce und die Salesforce Trust Layer in mehr als 30 Regionen weltweit bereit. Zu den Modellen gehören sowohl intern trainierte als auch Open-Source-Modelle.

Vom benutzerdefinierten Failover zum Router

Salesforce stellt Kapazitäten für den Kundenverkehr über Hunderte von AWS-Konten hinweg bereit. AWS zufolge können sich überschneidende Nachfragespitzen von Kunden und kurzfristige Erweiterungen dazu führen, dass in einigen Regionen Instanzen ungenutzt bleiben, während in anderen die Kapazität knapp wird.

Vor der Änderung leitete das interne Gateway des Unternehmens den Datenverkehr um, den lokale Endpunkte nicht bewältigen konnten. Dazu nutzte es Gesundheitsprüfungen, Wiederholungsversuche und eine Logik zum Wechseln der Region. Laut AWS fehlten dem früheren Gateway Kapazitätssignale von lokalen und entfernten Endpunkten. Deshalb konnte es weder erkennen, wann der Datenverkehr verlagert werden sollte, noch, ob am Zielort Kapazitäten verfügbar waren.

Die frühere Route leitete den regionsübergreifenden Datenverkehr außerdem über Netzwerk-Gateways aus der virtuellen privaten Cloud heraus und über das öffentliche AWS-Netzwerk. Bei Designprüfungen äußerte das Team die Sorge, dass eine Verlagerung des Datenverkehrs während eines Vorfalls eine andere Region überlasten könnte.

Wie Anfragen weitergeleitet werden

Der Inferenz-Router von SageMaker AI bietet einer Anwendung einen einzigen Aufrufpfad zu Endpunkten in verschiedenen Regionen und Konten. Ein Routing-Ziel legt fest, welche Endpunkte und Inferenzkomponenten ein bestimmtes Modell bereitstellen können. Ein Endpunkt in einem anderen Konto muss dem namentlich genannten Router die Berechtigung erteilen, ihn aufzurufen.

Der Router bevorzugt ein Ziel in seiner eigenen Region, solange dieses Ziel Anfragen erfolgreich bedient. Plattformfehler, 5xx-Fehler des Modellcontainers, Drosselungen und Zeitüberschreitungen verschlechtern den Zustand eines Ziels. Anhaltende Fehler führen dazu, dass der Router einen wachsenden Anteil neuer Anfragen an gesunde Ziele weiterleitet. Wenn ein Ziel eine Anfrage ablehnt, ohne das Modell auszuführen – etwa weil es die Anfrage drosselt –, wiederholt der Router sie einmal an anderer Stelle.

Laut AWS beginnt der Router bei anhaltenden Fehlern in der Regel innerhalb von etwa einer Minute, den Datenverkehr zu verlagern. Bei Zielen mit geringem Datenverkehr kann die Verlagerung mehrere Minuten dauern. Nach einer Wiederherstellung kehrt der Datenverkehr im Laufe mehrerer Minuten zurück, langsamer als zuvor verlagert. Ungültige Eingaben und die Latenz des Modells lösen keine Verlagerung aus.

Der Router nutzt die bereits an den Endpunkten bereitgestellte Kapazität. AWS zufolge stellt er keine Modelle bereit, kopiert keine Artefakte und fügt keine Instanzen hinzu; das Autoscaling der einzelnen Endpunkte fügt bei wachsendem Datenverkehr Instanzen hinzu.

Datenresidenz und Transparenz

Salesforce hat den Router-Aufruf in sein Gateway eingebunden, und zwar nach der Prüfung der Datenresidenz und vor der Verarbeitung der Antwort. Anfragen, die mit einer Anforderung an die Datenresidenz gekennzeichnet sind, nutzen ein Routing-Ziel innerhalb der Region, dessen einziges Ziel der lokale Endpunkt ist. Andere Anfragen leitet das Gateway mit demselben Body, Content-Type und Accept-Typ wie zuvor an den Router weiter.

Salesforce protokolliert die Ressource, die jede Anfrage bedient hat, sowie den Grund für die Weiterleitung zusammen mit Anfrage- und Trace-IDs und fügt diese Felder als Tags für das Application-Performance-Monitoring hinzu. Bei der Untersuchung einer Verlagerung des Datenverkehrs führt das Team sie mit den Router-Metriken zusammen.

In einem Konfigurationstest erstellte Salesforce einen Router in US West (Oregon) und bestätigte, dass Anfragen ein lokales Ziel erreichten. Anschließend registrierte das Team einen Endpunkt in US East (Ohio), der einem anderen Konto gehörte, entfernte das lokale Ziel und bestätigte, dass Anfragen über die Konto- und Regionsgrenze hinweg den entfernten Endpunkt erreichten.

Quellen

  1. Originalquelle · Blogbeitrag Amazon Web Services aws.amazon.com

Unternehmen in dieser Meldung

Verwandte Meldungen

Entdecken

Weitere Artikel