The Pulse
Salesforce usa l’instradamento di SageMaker per spostare le richieste ai modelli tra regioni
Salesforce ha integrato il router di inferenza cross-region di Amazon SageMaker AI nel proprio gateway interno per la gestione dei modelli. Il router può spostare le richieste verso altri endpoint distribuiti quando le destinazioni locali segnalano errori, mentre le richieste soggette a requisiti di residenza dei dati restano nella regione.

Salesforce usa Amazon SageMaker AI per instradare le richieste ai modelli tra endpoint distribuiti in regioni diverse, sostituendo la logica di failover del proprio gateway interno. Un post di Amazon Web Services pubblicato il 18 novembre descrive come il sistema sposta il traffico quando le destinazioni locali segnalano errori, mantenendo però nella regione designata le richieste soggette a requisiti di residenza dei dati.
Secondo AWS, il team Agentforce Foundation gestisce modelli per prodotti tra cui Agentforce e Salesforce Trust Layer in oltre 30 regioni del mondo. I modelli comprendono sia quelli addestrati internamente sia modelli open source.
Dal failover personalizzato a un router
Salesforce predispone capacità per il traffico dei clienti su centinaia di account AWS. AWS afferma che i picchi sovrapposti dei clienti e le espansioni con breve preavviso possono lasciare alcune regioni con istanze inattive, mentre in altre la capacità disponibile non è sufficiente.
Prima della modifica, il gateway interno dell’azienda reindirizzava il traffico che gli endpoint locali non riuscivano a gestire, usando controlli di integrità, nuovi tentativi e una logica di passaggio da una regione all’altra. AWS afferma che il gateway precedente non disponeva di segnali sulla capacità degli endpoint locali e remoti, perciò non poteva stabilire quando spostare il traffico né se una destinazione avesse capacità disponibile.
Il percorso precedente faceva inoltre uscire il traffico tra regioni dal cloud privato virtuale, attraverso gateway di rete e sulla rete pubblica AWS. Durante le revisioni del progetto, il team ha sollevato il rischio che lo spostamento del traffico nel corso di un incidente potesse sovraccaricare un’altra regione.
Come si spostano le richieste
Il router di inferenza di SageMaker AI offre a un’applicazione un unico percorso di invocazione verso endpoint distribuiti tra regioni e account. Una destinazione di instradamento identifica gli endpoint e i componenti di inferenza che possono servire un determinato modello; un endpoint appartenente a un altro account deve concedere al router indicato l’autorizzazione a invocarlo.
Il router privilegia una destinazione nella propria regione finché questa gestisce correttamente le richieste. Guasti della piattaforma, errori 5xx del container del modello, throttling e timeout riducono lo stato di salute di una destinazione; gli errori persistenti portano il router a inviare una quota crescente di nuove richieste verso destinazioni funzionanti. Quando una destinazione non riesce a soddisfare una richiesta senza eseguire il modello, per esempio perché applica il throttling alla richiesta, il router la ritenta una volta su un’altra destinazione.
AWS afferma che, in genere, il router inizia a spostare il traffico entro circa un minuto dal verificarsi di errori persistenti. Per le destinazioni con poco traffico, lo spostamento può richiedere diversi minuti; dopo il ripristino, il traffico torna nell’arco di diversi minuti, più lentamente di quanto sia stato spostato. Gli input non validi e la latenza del modello non attivano lo spostamento.
Il router utilizza la capacità già distribuita sugli endpoint. AWS afferma che non distribuisce modelli, non copia artefatti e non aggiunge istanze; l’autoscaling di ciascun endpoint aggiunge istanze man mano che il traffico aumenta.
Residenza e visibilità
Salesforce ha inserito la chiamata al router nel proprio gateway dopo il controllo della residenza dei dati e prima della gestione della risposta. Le richieste contrassegnate come soggette a un requisito di residenza dei dati utilizzano una destinazione di instradamento nella stessa regione, la cui unica destinazione è l’endpoint locale. Le altre richieste vengono inviate al router con lo stesso corpo, tipo di contenuto e tipo Accept che il gateway utilizzava in precedenza.
Salesforce registra la risorsa che ha gestito ogni richiesta e il motivo dell’instradamento, insieme agli identificativi della richiesta e della traccia, e aggiunge questi campi come tag per il monitoraggio delle prestazioni delle applicazioni. Quando indaga su uno spostamento del traffico, il team li combina con le metriche del router.
In un test di configurazione, Salesforce ha creato un router in US West (Oregon) e ha verificato che le richieste raggiungessero una destinazione locale. Il team ha poi registrato un endpoint in US East (Ohio), appartenente a un altro account, ha rimosso la destinazione locale e ha verificato che le richieste raggiungessero l’endpoint remoto oltrepassando i confini dell’account e della regione.
Fonti
- Fonte originale · Post del blog Amazon Web Services aws.amazon.com
Aziende in questa notizia
Notizie correlate
- I clienti AWS possono ora distribuire il modello di dialogo vocale di PolyAI tramite SageMaker JumpStart
- Il modello OpenTSLM per serie temporali arriva su SageMaker JumpStart
- SageMaker aggiunge l’instradamento consapevole della cache per endpoint IA in tempo reale
- Salesforce integra il ragionamento per il CRM nel nuovo modello Koa
- Salesforce rilascia un modello open-weight per la trascrizione del parlato