The Pulse

AWS introduce la fatturazione a consumo per i modelli in streaming su SageMaker

I fornitori di modelli possono comunicare i consumi durante le sessioni di streaming bidirezionale di SageMaker AI per gli addebiti software di AWS Marketplace. Deepgram è il partner di lancio, mentre i costi dell’infrastruttura degli endpo

AI.info Team · Scritto con l’IA · verificato · 2026-11-11

I fornitori di modelli possono ora comunicare i consumi durante le sessioni di streaming bidirezionale di Amazon SageMaker AI per gli addebiti software di AWS Marketplace. In un post dell’11 novembre, Amazon Web Services ha dichiarato che la misurazione permette ai fornitori di addebitare i consumi comunicati durante uno streaming in diretta, anziché basarsi esclusivamente su una tariffa oraria per il software.

Deepgram è il partner di lancio e porta su AWS Marketplace la fatturazione a consumo per i modelli di conversione da voce a testo e da testo a voce. I costi dell’infrastruttura degli endpoint di SageMaker AI restano separati e continuano a maturare finché l’endpoint è predisposto.

La fatturazione di una sessione in diretta

Per l’inferenza convenzionale in tempo reale basata su richieste e risposte, i fornitori di modelli possono comunicare il numero di unità in un’intestazione di risposta per l’addebito software di Marketplace. In una sessione bidirezionale, i consumi si accumulano durante lo streaming e il totale finale non è noto fino alla conclusione della sessione.

La tariffa oraria per il software può comportare un addebito per il cliente mentre un modello è disponibile, anche nei periodi di inattività. Con il nuovo approccio, il fornitore definisce cosa viene conteggiato come consumo misurato e l’offerta su Marketplace associa l’unità a un prezzo.

Per esempio, un prodotto che applica una tariffa per ogni secondo di audio potrebbe comunicare 12 minuti di audio misurato come 720 unità. Una connessione aperta per 12 minuti non determina di per sé la quantità di audio fatturabile: tale quantità dipende dalle regole di conteggio del fornitore.

Le inserzioni su Marketplace mostrano un prezzo per unità, indicato per richiesta, con un massimo di tre cifre decimali. I fornitori possono anche proporre offerte private con tariffe unitarie negoziate o contratti a prezzo fisso.

Una connessione separata per la misurazione

Il sistema utilizza una connessione WebSocket aggiuntiva, affiancata allo streaming di inferenza esistente. Quando un server del modello aderisce tramite un’intestazione di risposta, SageMaker AI apre la connessione aggiuntiva per i dati di misurazione. Le due connessioni condividono un identificativo della richiesta che il server usa per associare i record di misurazione alla sessione di inferenza.

Ogni frame di testo contiene esattamente un record di misurazione. Il flusso di metadati ha una quota di un messaggio al secondo per connessione e una dimensione massima dei messaggi di 512 byte.

AWS raccomanda di inviare i record in modo incrementale man mano che i consumi maturano, per ridurre la quantità non comunicata se una sessione termina inaspettatamente. La sola consegna attraverso la connessione non dimostra che i consumi siano stati fatturati; l’azienda afferma che i fornitori dovrebbero confrontare le unità comunicate con i report di Marketplace e gli addebiti agli acquirenti.

Interruzioni e distribuzione

Se la connessione dei metadati non si avvia o si interrompe durante una sessione, per impostazione predefinita l’inferenza continua senza quel flusso di misurazione. I fornitori possono invece configurare la connessione come obbligatoria: in tal caso, l’inferenza si interrompe se il flusso di metadati diventa indisponibile. Nessuna delle due impostazioni garantisce la fatturazione dei record malformati o persi.

Per una distribuzione di Deepgram, il server del modello calcola automaticamente i consumi e SageMaker AI e AWS Marketplace li elaborano senza che sia necessaria una configurazione della misurazione sul lato client. I clienti sottoscrivono un modello tramite Marketplace, ne distribuiscono il pacchetto su un endpoint in tempo reale di SageMaker AI e si connettono usando l’API di streaming bidirezionale. Il prodotto citato come esempio nel post è Deepgram Nova-3 Monolingual Speech-to-Text Streaming.

I fornitori di modelli che scelgono la tariffazione per inferenza stabiliscono un unico prezzo per unità per l’inferenza in tempo reale, valido per tutti i tipi di istanza. Un’inserzione pubblicata non può passare dalla tariffazione oraria a quella per inferenza o viceversa. AWS raccomanda di effettuare test con un’inserzione limitata e un acquirente inserito in una lista di autorizzazione, verificando anche le sessioni interrotte, la perdita del flusso di metadati e i messaggi malformati.