The Pulse
AWS estende l’accesso a GPT-6 a cinque regioni dell’Asia-Pacifico
AWS afferma che gli utenti di Amazon Bedrock in Thailandia, Malaysia, Singapore, Indonesia e Taiwan possono accedere ai modelli GPT-6 di OpenAI tramite l’inferenza globale tra regioni. GPT-6 Sol e Luna sono accessibili da tutte e cinque le
AI.info Team · Scritto con l’IA ·
AWS sta estendendo l’accesso ai modelli GPT-6 di OpenAI su Amazon Bedrock da cinque regioni di origine dell’Asia-Pacifico, tramite richieste di inferenza che possono essere elaborate altrove nel cloud commerciale di AWS. L’azienda ha descritto la configurazione in un articolo tecnico pubblicato il 12 ottobre, dedicato a Thailandia, Malaysia, Singapore, Indonesia e Taiwan.
L’offerta comprende GPT-6 Sol e GPT-6 Luna da tutte e cinque le regioni. GPT-6 Astra è disponibile tramite il profilo di inferenza globale soltanto da Singapore. L’articolo di AWS è una guida alla configurazione, non un annuncio secondo cui i modelli vengono eseguiti all’interno di ciascuno dei cinque paesi.
Tre modelli, cinque punti di partenza
I clienti richiamano i modelli tramite Amazon Bedrock Runtime usando un profilo di inferenza globale tra regioni al posto dell’ID del modello. Per Sol e Luna, le regioni di origine supportate sono Singapore, Jakarta, Malaysia, Thailandia e Taipei. Il profilo di Astra indica Singapore come unica regione di origine.
Bedrock sceglie una regione di destinazione in cui è distribuito il modello richiesto. AWS afferma che la destinazione può essere qualsiasi regione AWS commerciale supportata, anziché un insieme fisso di regioni. La configurazione dà alle chiamate provenienti dalle cinque regioni elencate accesso a una capacità di inferenza più ampia, ma non garantisce che l’elaborazione resti nel paese da cui parte la richiesta.
I clienti che già usano OpenAI possono utilizzare l’endpoint di Bedrock
AWS documenta tre modi per inviare richieste: la Bedrock Converse API, la OpenAI Responses API e la OpenAI Chat Completions API. Le API compatibili con OpenAI usano l’endpoint /openai/v1 di Bedrock Runtime e accettano sia AWS Signature Version 4 sia una chiave API di Bedrock. Gli sviluppatori trasmettono l’ID del profilo con ogni richiesta; AWS fornisce anche esempi di configurazione per l’app desktop ChatGPT e Codex CLI.
Secondo AWS, i tre modelli accettano input testuali e immagini, l’uso di strumenti lato client e il prompt caching. Sol e Luna consentono di impostare l’intensità del ragionamento da none a max; Astra offre le stesse opzioni tranne none. AWS descrive Sol come adatto al ragionamento e alla programmazione, Luna ai compiti ripetibili ad alto volume e Astra al ragionamento complesso, alla programmazione e ai documenti lunghi.
L’instradamento tra regioni comporta riserve sulla residenza dei dati
L’inferenza tra regioni è importante per le organizzazioni soggette a vincoli rigorosi sul luogo in cui vengono elaborate le richieste. AWS afferma che il traffico segnalato dai suoi classificatori automatici per il rilevamento degli abusi può essere conservato fino a 30 giorni ed elaborato nella regione di destinazione. I clienti idonei possono chiedere al proprio team AWS informazioni sulla possibilità di non conservare alcun dato, e AWS consiglia alle organizzazioni soggette a obblighi di residenza dei dati di esaminare la configurazione con i propri team di gestione del rischio e conformità.
«Il vostro perimetro operativo resta nella regione di origine.»
Traci Lim, Chris Dickens, Karan Jhaveri, Melanie Li, Saurabh Trikande e Zohreh Norouzi, AWS
AWS afferma che la fatturazione, il monitoraggio delle quote, gli eventi CloudTrail e le metriche CloudWatch restano nella regione di origine e che i clienti pagano le tariffe di quella regione, non quelle della regione di destinazione. CloudTrail registra il luogo di elaborazione nel campo additionalEventData.inferenceRegion, consentendo agli operatori di verificare dove è stata eseguita una singola chiamata.
Le regole sulle quote possono sorprendere i team di produzione
Bedrock misura le quote di questi modelli in token al minuto rispetto alla regione di origine. I token di input e quelli scritti nella cache vengono conteggiati uno a uno, mentre ogni token di output consuma 10 token della quota. L’esempio di AWS — una richiesta con 2.000 token di input e 1.000 token di output — utilizza quindi 12.000 token della quota.
Il servizio riserva inoltre in anticipo l’intero valore di max_tokens, perciò AWS consiglia di impostarlo vicino alla lunghezza prevista della risposta e di richiedere aumenti della quota prima dell’uso in produzione. Le sue indicazioni suggeriscono di impostare un avviso quando l’uso stimato della quota raggiunge il 70%-80% di quella assegnata. I profili consentono di richiamare GPT-6 da un maggior numero di endpoint regionali di Bedrock; il luogo di elaborazione, le condizioni di conservazione dei dati e il calcolo della quota restano aspetti importanti nella decisione di utilizzare questo accesso.