The Pulse
Deepgram registra fino al 70% di audio in più per dollaro con Trainium2
Deepgram e AWS affermano che una versione ottimizzata del modello di trascrizione vocale Nova-3 di Deepgram ha elaborato dall’11% al 70% di audio in più per dollaro con Trainium2. Il risultato riguarda la trascrizione offline in batch su un
AI.info Team · Scritto con l’IA · verificato ·
Un massimo del 70%, in un ambito circoscritto
AWS e Deepgram riferiscono che una versione ottimizzata del modello di trascrizione vocale Nova-3 di Deepgram ha elaborato dall’11% al 70% di audio in più per dollaro con Trainium2 rispetto alle soluzioni di calcolo che Deepgram utilizzava in precedenza. Il valore massimo non è un risultato generale valido per tutto il riconoscimento vocale: il confronto riguarda carichi di lavoro batch offline orientati alla capacità di elaborazione, tra cui l’analisi dei contact center e la trascrizione medica. AWS afferma di aver calcolato la metrica usando i prezzi delle istanze in vigore al momento della valutazione.
Questa delimitazione è importante. Il post descrive un risultato di efficienza dei costi per l’inferenza batch, non sostiene che Trainium2 migliori la latenza o i costi dei servizi in tempo reale, dei modelli di sintesi vocale o degli agenti vocali di Deepgram. Inoltre, non identifica le istanze usate per il confronto né fornisce valori assoluti sulla quantità di audio elaborato, lasciando ai lettori informazioni insufficienti per riprodurre l’intero confronto tra prezzo e prestazioni.
Otto repliche di Nova-3 su una sola istanza
Il sistema finale esegue otto copie di Nova-3 su una singola istanza Amazon EC2 trn2.3xlarge. Deepgram e AWS affermano di aver dedicato diversi mesi al porting del modello dal codice PyTorch standard a Trainium2 e alla sua ottimizzazione per il chip. L’obiettivo era usare in modo più efficiente il tempo dell’acceleratore nei carichi di lavoro che elaborano grandi batch di registrazioni.
Il team ha usato TorchNeuron, l’integrazione di PyTorch di AWS per il compilatore Neuron, e ha compilato l’encoder e il decoder come grafi separati a forma statica. AWS afferma che il modello compilato ha eseguito ogni operazione su Trainium2 senza rilevare esecuzioni alternative sulla CPU. Il team ha anche confrontato gli output a livello dei singoli layer con i risultati della CPU e monitorato il tasso di errore sulle parole rispetto ai valori di riferimento di Deepgram.
Ottimizzazione dei kernel e un sistema di servizio in Rust
Dopo aver stabilito una configurazione di base funzionante, gli ingegneri hanno sostituito alcune operazioni con kernel fusi della Neuron Kernel Interface Library, poi hanno usato il profiling per individuare ulteriori colli di bottiglia. Hanno scritto kernel personalizzati per i layer feed-forward, la convoluzione depthwise unidimensionale e la convoluzione bidimensionale. AWS riferisce che il kernel feed-forward personalizzato ha dimezzato la latenza rispetto al kernel di riferimento con un batch di dimensione 96, mentre il kernel per la convoluzione depthwise è risultato 1,5 volte più veloce con quella dimensione del batch.
Un altro compito ingegneristico era integrare il modello nell’infrastruttura con cui Deepgram serve i modelli in produzione, scritta in Rust. Il team ha realizzato un ambiente di esecuzione in cui Rust coordina le repliche del modello tramite una coda condivisa con meccanismo di work stealing, mentre uno strato in C carica i file eseguibili Neuron compilati attraverso la Neuron Runtime API di AWS. AWS afferma che l’ambiente di esecuzione ha riprodotto le sequenze di token di riferimento per ogni dimensione del batch testata.
Rispetto a una configurazione di base Python con multiprocessing, l’ambiente di esecuzione in Rust ha ottenuto un aumento del 7,5% nella capacità di elaborazione alla dimensione del batch che la massimizzava. Il post afferma che il vantaggio è maggiore con batch di piccole dimensioni, quando le chiamate ripetute al decoder rendono più significativo il lavoro di smistamento svolto dall’host. Questo risultato dell’ambiente di esecuzione è distinto dall’intervallo di miglioramento per dollaro citato nel titolo: misura la capacità di elaborazione rispetto a una configurazione di base per servire il modello in Python, non il miglioramento dall’11% al 70% rispetto alle precedenti soluzioni di calcolo di Deepgram.
L’hosting autonomo è il prossimo impiego dichiarato
AWS afferma che i miglioramenti di efficienza potrebbero giovare anche ai clienti che eseguono i modelli di Deepgram nei propri cloud privati virtuali tramite Amazon SageMaker AI. Deepgram e AWS affermano di continuare a lavorare alla configurazione, all’affidabilità e all’osservabilità di questa modalità di distribuzione, ma il post non pubblica un benchmark separato per i sistemi ospitati dai clienti.
Per ora, il risultato concreto è una configurazione ottimizzata per l’inferenza batch di Nova-3 su una singola istanza trn2.3xlarge, con otto repliche del modello e un aumento dichiarato dall’11% al 70% dell’audio elaborato per dollaro rispetto alle precedenti soluzioni di calcolo di Deepgram. L’intervallo misurato dipende dal carico di lavoro batch e dai prezzi delle istanze usati durante la valutazione.