The Pulse
AWS instrada l’inferenza di HyperPod tra cluster tramite un unico endpoint
Amazon SageMaker HyperPod dispone di un gateway globale che instrada le richieste di inferenza tra cluster registrati in una o più regioni AWS. Il gateway seleziona i cluster in stato di salute usando pesi configurabili e sposta automaticamente il traffico lontano dai cluster guasti.

Un nuovo gateway di Amazon SageMaker HyperPod instrada le richieste di inferenza dell’IA tra cluster registrati tramite un unico endpoint, inclusi cluster in diverse regioni AWS. Il Global Inference Gateway seleziona un cluster in stato di salute per ogni richiesta e sposta automaticamente il traffico lontano da un cluster guasto, ha dichiarato Amazon Web Services in un post tecnico pubblicato il 20 novembre.
Il servizio aggiunge un livello sopra l’Inference Gateway esistente per ogni cluster HyperPod, che continua a scegliere il pod del modello all’interno del cluster selezionato. AWS gestisce la flotta di instradamento globale e le connessioni private ai cluster, mentre i clienti scelgono quali cluster pubblicare e raggruppare dietro un gateway.
Da endpoint per cluster a un unico gateway
In un esempio riportato nel post di AWS, un team che fornisce quattro modelli su cinque cluster HyperPod in due regioni dovrebbe altrimenti tenere traccia di 20 endpoint, uno per ogni modello su ciascun cluster. L’Inference Gateway esistente riduce il numero a cinque endpoint, ma lascia ai client la scelta del cluster; il gateway globale fornisce un unico endpoint per tutti i cluster registrati.
Per ogni richiesta, il nuovo gateway assegna un punteggio ai cluster in stato di salute in base alla cache key-value e alla memoria GPU disponibili, alla profondità della coda, alla vicinanza geografica e agli errori recenti. Un publisher di metriche su ciascun cluster fornisce i relativi segnali di carico.
I pesi predefiniti sono 0,20 per il margine disponibile nella cache e nella memoria GPU, 0,25 per la profondità della coda, 0,40 per la vicinanza geografica e 0,15 per il tasso di errore. Ogni peso personalizzato può variare da 0,0 a 1,0; i clienti che specificano i pesi devono impostarli tutti e quattro, e i valori devono sommare a 1,0. Un peso pari a zero disattiva quel segnale.
Nei test beta, Bagelcode ha usato un unico endpoint per instradare le richieste tra due regioni AWS, ha dichiarato Jinhyung Park, vicepresidente della piattaforma IA dell’azienda. Park ha affermato che il gateway «ha continuato a servirle quando un cluster non era più in grado di servire il modello».
Pubblicazione e connessione dei cluster
Per rendere raggiungibile un cluster, il cliente abilita l’instradamento globale nella configurazione InferenceGatewayConfig esistente. Il controller HyperPod Inference pubblica quindi il cluster privatamente dall’account del cliente. I clienti creano il gateway globale chiamando CreateGlobalInferenceGateway e indicando i cluster che vogliono utilizzare.
Quando viene pubblicato un cluster, il controller crea un Network Load Balancer davanti al suo Inference Gateway, pubblica un servizio endpoint di virtual private cloud e carica il certificato del listener nel bucket TLS del cliente. La chiamata per creare un gateway non va a buon fine se include un cluster che non è stato pubblicato.
I client inviano al gateway regionale richieste compatibili con OpenAI, firmate con AWS Signature Version 4, nota come SigV4. Dopo l’autenticazione e la selezione del cluster, AWS PrivateLink trasporta la richiesta al cluster, dove il gateway esistente la instrada a un pod del modello.
Accesso e operazioni
Prima che le richieste raggiungano un cluster, il servizio verifica le firme SigV4, le autorizzazioni di AWS Identity and Access Management e i limiti di frequenza. I chiamanti devono disporre dell’autorizzazione per invocare il gateway; le risposte in streaming richiedono un’azione di autorizzazione separata.
Il gateway non registra né archivia prompt o completamenti. I clienti possono modificare i pesi di instradamento dopo la creazione, aggiungere un cluster predisposto o scollegarne uno; quando viene aggiunto un cluster, il gateway lo convalida e inizia a instradarvi le richieste quando è in stato di salute.
Fonti
- Fonte originale · Post del blog Amazon Web Services aws.amazon.com
Aziende in questa notizia
Notizie correlate
- Salesforce usa l’instradamento di SageMaker per spostare le richieste ai modelli tra regioni
- AWS rende AgentCore V2 basato su snapshot l’impostazione predefinita per i nuovi runtime in alcune regioni selezionate
- I clienti AWS possono ora distribuire il modello di dialogo vocale di PolyAI tramite SageMaker JumpStart
- SageMaker aggiunge l’instradamento consapevole della cache per endpoint IA in tempo reale
- Hugging Face passa a OpenRouter per instradare le richieste ai modelli linguistici