Vai al contenuto
AI.info

The Pulse

AWS illustra il monitoraggio dei costi per utente e i limiti per gli strumenti di IA Bedrock

AWS ha pubblicato una guida per attribuire i costi di inferenza di Bedrock ai singoli utenti di strumenti di sviluppo e produttività basati sull’IA. L’approccio combina dati di identità e report di fatturazione, mentre le diverse opzioni di applicazione dei limiti prevedono tempi diversi.

AWS illustra il monitoraggio dei costi per utente e i limiti per gli strumenti di IA Bedrock

Le organizzazioni possono attribuire ai singoli utenti la spesa per gli strumenti di IA per la programmazione e la produttività quando questi chiamano modelli tramite Amazon Bedrock. Una guida pubblicata da Amazon Web Services il 13 novembre spiega come combinare dati di identità, report di fatturazione e controlli sull’utilizzo per monitorare e limitare tale spesa.

L’approccio riguarda strumenti come Claude Code, Claude Desktop, OpenAI Codex, ChatGPT Work e OpenCode, quando le loro richieste di inferenza passano attraverso Bedrock. La guida mostra come usare queste funzionalità di Bedrock, configurando una sola volta la propagazione dell’identità per ogni strumento che instrada l’inferenza tramite Bedrock.

Identità nei dati di fatturazione

Bedrock registra l’identità AWS Identity and Access Management (IAM) del chiamante e la riporta negli AWS Cost and Usage Reports, o CUR 2.0. Per gli utenti federati, l’identità include un nome di sessione; tag facoltativi dell’identità o della sessione possono aggiungere dettagli organizzativi, come il team e il centro di costo.

Quando gli utenti condividono un ruolo con lo stesso nome di sessione fisso, oppure le richieste passano attraverso il ruolo del gateway, il report aggrega la spesa sotto un unico principal. Con IAM Identity Center, il nome di sessione corrisponde al nome usato dall’utente per accedere, così ogni utente ha un principal distinto.

Il report di fatturazione aggrega l’utilizzo per principal e tipo di utilizzo per ogni intervallo di esportazione: un’ora per un’esportazione oraria o un giorno per un’esportazione giornaliera. Non include il costo di ogni singola richiesta. AWS rimanda chi cerca dettagli per singolo prompt ai log di invocazione del modello o all’applicazione di tag ai metadati delle richieste.

I limiti richiedono un’applicazione separata

I dati di identità consentono di monitorare i costi, mentre per applicare i limiti servono controlli aggiuntivi. AWS descrive l’uso delle azioni di AWS Budgets per impostare soglie filtrate in base al tag del principal IAM e applicare policy di diniego.

La guida afferma che i dati di Budgets vengono aggiornati fino a tre volte al giorno e che possono essere necessarie fino a 24 ore prima che gli addebiti di Bedrock vengano registrati. Gli utenti più assidui potrebbero quindi spendere oltre il limite fino a un giorno prima che questo metodo entri in funzione.

AWS descrive anche il monitoraggio delle quote con DynamoDB, che entra in funzione al successivo aggiornamento delle credenziali, e un proxy gateway LLM in grado di bloccare le chiamate singolarmente. Secondo la guida, l’approccio con gateway comporta una maggiore complessità operativa e aggiunge latenza a ogni richiesta.

Configurazione ed eccezioni

La configurazione descritta nella guida AWS usa IAM Identity Center con un provider di identità esterno, come Okta, Microsoft Entra ID o Ping Identity. Richiede inoltre CUR 2.0 con i dati del principal IAM, tag di allocazione dei costi attivati e una tabella Amazon Athena per interrogare il report.

Gli utenti ricevono sessioni tramite un set di autorizzazioni che concede l’accesso a Bedrock. Le autorizzazioni dipendono dall’endpoint: Codex e ChatGPT Work possono usare bedrock-mantle, mentre Claude Code e Claude Desktop possono usare bedrock-runtime. I tag di sessione possono trasferire attributi organizzativi nei dati di fatturazione e in AWS Cost Explorer.

La guida distingue queste chiamate dirette a Bedrock da Claude Platform on AWS e Claude for Enterprise, che instradano l’inferenza tramite un’infrastruttura gestita da Anthropic. Per il prodotto enterprise, l’utilizzo per utente è visibile nella console di amministrazione di Anthropic e nell’Usage and Cost API; Anthropic applica i limiti di spesa.

Fonti

Aziende in questa notizia

Notizie correlate

Esplora

Altri articoli