The Pulse
NVIDIA porta Astra Ultrafast di OpenAI sulle GPU Blackwell
NVIDIA afferma che GPT-6 Astra Ultrafast di OpenAI funziona sulle GPU Blackwell e può generare token fino a otto volte più velocemente rispetto alla modalità Astra Standard. Il servizio è disponibile tramite API e per gli utenti idonei di C
AI.info Team · Scritto con l’IA ·
Blackwell esegue la modalità più veloce di Astra
Il 1 ottobre NVIDIA ha dichiarato che GPT-6 Astra Ultrafast di OpenAI funziona sulle GPU NVIDIA Blackwell, rendendo disponibile per il modello un livello di servizio più veloce tramite l’API di OpenAI e gli account idonei di ChatGPT Work e Codex. Secondo NVIDIA, Ultrafast genera token fino a otto volte più velocemente rispetto alla modalità Standard di Astra. L’annuncio attribuisce questo aumento alle ottimizzazioni del software di inferenza sviluppate da OpenAI per l’architettura GPU di NVIDIA.
Il dato delle otto volte riguarda la generazione di token, non significa che ogni attività si concluda otto volte più velocemente. Il post di NVIDIA non indica i carichi di lavoro né il metodo di misurazione alla base del confronto. Per gli agenti di programmazione che generano ripetutamente testo, chiamano strumenti e attendono la risposta successiva, una generazione più veloce dei token potrebbe ridurre le pause tra un passaggio e l’altro, ma non dimostra di per sé un miglioramento equivalente nel tempo complessivo necessario a completare un’attività.
OpenAI afferma che i suoi modelli hanno contribuito a ottimizzare l’inferenza
NVIDIA descrive il lavoro come qualcosa di più di un’implementazione su hardware: OpenAI ha usato i propri modelli per contribuire a perfezionare il software di inferenza eseguito sulle GPU Blackwell. Secondo il post, la piattaforma programmabile ha permesso ai team di testare e implementare queste modifiche, con l’obiettivo di velocizzare le risposte del modello e rendere l’infrastruttura più produttiva. Non specifica quali sistemi GPU Blackwell utilizzi OpenAI, quante GPU siano coinvolte o dove siano installate.
«I notevoli investimenti di NVIDIA in strumenti e documentazione ci hanno permesso di rendere i nostri modelli eccezionalmente capaci di programmare le GPU Blackwell e Rubin», ha dichiarato Philippe Tillet, responsabile dell’inferenza presso OpenAI. «Astra può trasformare queste conoscenze in kernel ad alte prestazioni che rendono l’hardware NVIDIA interessante sull’intero fronte della latenza, del throughput e dei costi. Con Astra Ultrafast, questo significa risposte del modello più veloci mentre gli agenti scrivono codice, usano strumenti e affrontano attività complesse.»
Philippe Tillet, responsabile dell’inferenza presso OpenAI
Uday Ruddarraju, chief technology officer per il calcolo di OpenAI, ha descritto lo stesso processo in termini di ottimizzazione assistita dai modelli. «Abbiamo usato i nostri modelli interni per ottimizzare l’inferenza sulle GPU NVIDIA e la programmabilità di NVIDIA ci ha aiutato a ottenere l’accelerazione alla base di Astra Ultrafast», ha dichiarato.
L’accesso tramite API prevede limiti e tariffe più alte
Secondo la documentazione API di OpenAI, Ultrafast è disponibile per GPT-6 Astra agli utenti dell’API, ma è soggetto a limiti di utilizzo bassi. Gli sviluppatori selezionano il livello di servizio ultrafast in una richiesta alla Responses API. OpenAI consiglia una connessione WebSocket persistente per le applicazioni agentiche che chiamano spesso strumenti, perché il tempo aggiunto dalle comunicazioni di rete può ridurre i vantaggi in termini di latenza; sono supportate anche le richieste HTTP.
Secondo OpenAI, il livello più veloce costa più della modalità Standard, anche se la sua guida rimanda i clienti a un listino separato per le tariffe attuali per token. La guida indica limiti predefiniti per Ultrafast di 500.000 token al minuto per i livelli di utilizzo dell’API 1–3, 1 milione per il livello 4 e 5 milioni per il livello 5. Sono limiti di throughput, non una misura della velocità con cui arriva una singola risposta.
L’elaborazione regionale è soggetta a restrizioni
Secondo la documentazione di OpenAI, Ultrafast supporta l’elaborazione globale e la residenza dei dati negli Stati Uniti, ma non gli endpoint di elaborazione regionali nell’UE o in altre regioni al di fuori degli Stati Uniti. Questa restrizione, il costo più alto del servizio e i limiti di utilizzo dell’API incideranno su quali applicazioni potranno usare la modalità, anche nei casi in cui una generazione più veloce sarebbe utile.
L’annuncio di NVIDIA presenta il lancio come un’ottimizzazione congiunta di software e hardware, ma non fornisce risultati di benchmark indipendenti né dati sulla portata dell’implementazione. Il cambiamento concreto è più circoscritto: gli sviluppatori possono richiedere GPT-6 Astra Ultrafast tramite API, mentre gli utenti idonei di ChatGPT Work e Codex possono selezionarlo nei rispettivi prodotti.