The Pulse
AWS-Kunden können PolyAIs Sprachdialogmodell jetzt über SageMaker JumpStart bereitstellen
AWS-Kunden können PolyAIs Sprachdialogmodell als SageMaker-Endpunkt über JumpStart bereitstellen. Das Modell nimmt Audio von Live-Anrufen entgegen. Die Kunden bleiben jedoch für die Telefonieintegration und die Geschäftslogik verantwortlich.

AWS-Kunden können PolyAIs Sprachmodell Dialog-RSN-1 jetzt aus dem Katalog von Amazon SageMaker JumpStart als Endpunkt in ihren eigenen Konten bereitstellen. Das Modell verarbeitet Audio von Live-Anrufen und erzeugt Antworten für Agenten in Kundengesprächen, wie aus einem am 19. November veröffentlichten AWS-Beitrag hervorgeht.
Der Eintrag in JumpStart folgt auf einen früheren Bereitstellungsweg über SageMaker: PolyAI teilte am 6. Oktober mit, dass Kunden das Modell über AWS Marketplace abonnieren und als SageMaker-Endpunkt bereitstellen könnten. Der neue Katalogeintrag bietet Bereitstellungs- und Evaluierungsoptionen innerhalb von SageMaker AI.
Bereitstellung und Integration
Kunden können das Modell über AWS Marketplace abonnieren oder es aus dem JumpStart-Katalog in SageMaker bereitstellen. In der SageMaker-AI-Konsole wählen sie das Modell aus dem Hub aus und klicken auf „Deploy“; der daraus entstehende Echtzeit-Inferenz-Endpunkt nutzt einen vorkonfigurierten Serving-Stack.
Der Endpunkt läuft im AWS-Konto und in der virtuellen privaten Cloud des Kunden. Der Zugriff erfolgt über Rollen von AWS Identity and Access Management, die Überwachung über Amazon CloudWatch. Kunden können für automatisierte Bereitstellungsabläufe auch das SageMaker Python SDK verwenden.
Der Endpunkt verwendet das OpenAI-Realtime-Protokoll. Ein vorhandener Realtime-Client kann über die Bridge von PolyAI eine Verbindung herstellen, indem er seine Basis-URL ändert. Das Eingabeaudio muss im 16-Bit-PCM-Monoformat mit 16 oder 24 kHz vorliegen; G.711- oder Opus-Audio muss zuvor transkodiert werden. Verbindungen können bis zu 30 Minuten dauern, und das Modell unterstützt derzeit nur Englisch.
Der Kunde bleibt für Orchestrierung, Telefonieintegration und Geschäftslogik verantwortlich. Die Abrechnung des Endpunkts erfolgt über das AWS-Konto des Kunden.
Test- und Bereitstellungsoptionen
Der Katalog enthält eine Übersicht und Beispiel-Notebooks. Nachdem ein Endpunkt bereitgestellt wurde, kann ein Kunde mit PolyAIs Beispiel-Notebook aufgezeichnetes Anrufer-Audio streamen und die Entscheidungen des Modells zum Sprecherwechsel, seine Antworten und Transkripte ausgeben.
JumpStart bietet eine Reihe von Optimierungsprofilen für den Serving-Stack. Das auf geringe Latenz optimierte Profil zielt bei interaktiven Anrufen auf eine kurze Zeit bis zum ersten Token ab, während das auf Durchsatz optimierte Profil bei höherem Anrufaufkommen auf Tokens pro Sekunde ausgelegt ist. Auch kostenoptimierte und ausgewogene Profile sind verfügbar.
Vor der Bereitstellung zeigt JumpStart Kennzahlen wie P50-Latenz, Zeit bis zum ersten Token und Durchsatz an. Der SDK-Weg kann auch genutzt werden, um Bereitstellungen in Continuous-Integration- und Continuous-Delivery-Abläufe einzubinden.
Wie das Modell Anrufe verarbeitet
Dialog-RSN-1 nimmt Anrufer-Audio direkt entgegen und kombiniert Sprecherwechsel, Spracherkennung, Funktionsaufrufe und Antwortgenerierung in einem einzigen Modell. PolyAI zufolge kann das Modell bei der Entscheidung, wie und wann es antwortet, Informationen wie Tonfall und Timing berücksichtigen.
Bevor das Modell über das Audio des Anrufers Schlussfolgerungen zieht, erfolgt keine separate Übergabe an ein System zur Umwandlung von Sprache in Text. PolyAI zufolge ist das Modell auf der Eingabeseite audiofähig und überlässt die Spracherzeugung einem separaten Text-to-Speech-System.
PolyAI stellte Dialog-RSN-1 am 30. Juli vor und gibt an, dass das Modell bereits Live-Anrufe im Produktivbetrieb bearbeitet. Das Unternehmen sagt, das Modell sei durch das Weitertrainieren multimodaler Modelle mit offenen Gewichten und unter Verwendung interner Datensätze entwickelt worden. Dazu gehörten Gespräche aus realen Bereitstellungen und synthetische Gespräche.
Quellen
- Originalquelle · Blogbeitrag Amazon Web Services aws.amazon.com
Weitere gelesene Seiten
- PolyAI · Dialog rsn aws sagemaker poly.ai
- PolyAI · PolyAI dialog rsn poly.ai
Unternehmen in dieser Meldung
Verwandte Meldungen
- Salesforce nutzt SageMaker-Routing, um Modellanfragen zwischen Regionen zu verschieben
- DMM und Algomatic Dynamics bringen Router für 60 oder mehr KI-Modelle an den Start
- OpenAI sagt, seine Modelle hätten AMD-GPU-Designs um bis zu 14 % verbessert
- Aikido weitet KI-Penetrationstests auf iOS-Apps aus
- Unsloth Desktop ermöglicht lokale Inferenz auf AMD-XDNA-2-NPUs in Ryzen-AI-PCs