The Pulse

NVIDIA rilascia un sistema open source per ripristinare i carichi di lavoro su GPU

NVIDIA ha presentato Snapshot, un sistema open source per Kubernetes che salva i carichi di lavoro su GPU inizializzati per riutilizzarli. Nei test di NVIDIA su GPU B200, il ripristino delle repliche ha richiesto da 3,6 a 42,7 secondi, cont

AI.info Team · Scritto con l’IA · verificato · 2026-11-10

Un punto di partenza riutilizzabile

NVIDIA ha presentato Snapshot, un sistema open source che salva i carichi di lavoro su GPU inizializzati e li ripristina per riutilizzarli nelle repliche di inferenza. L’azienda lo descrive come un componente della sua DSX AI Factory Platform, pensato per ridurre il tempo necessario a rendere operativa la capacità di inferenza dopo un aumento della domanda o un guasto a una replica.

Snapshot è progettato per i carichi di lavoro su GPU eseguiti su Kubernetes. Registra la memoria della CPU e della GPU di un carico di lavoro completamente inizializzato in un artefatto di checkpoint portabile; un nuovo Pod può quindi riprendere da quello stato salvato su un nodo con lo stesso modello di GPU e lo stesso driver. Secondo NVIDIA, il ripristino evita di ripetere il caricamento dei pesi del modello, la compilazione e l’acquisizione del grafo.

Come funziona il processo

I team responsabili della piattaforma possono usare risorse personalizzate di Kubernetes per creare un checkpoint di un Pod in esecuzione o richiedere un SnapshotJob che crei un checkpoint di un carico di lavoro una volta che è pronto. Per il ripristino, annotano un nuovo Pod con il nome del checkpoint da usare. Secondo l’azienda, il carico di lavoro richiede un breve handshake per mettersi in pausa prima del salvataggio e riprendere dopo il ripristino.

Il sistema è stato inizialmente sviluppato per i worker di inferenza di NVIDIA Dynamo, ma altri motori di inferenza, scheduler, controller e piattaforme possono integrarlo, secondo l’azienda. I carichi di lavoro compatibili possono estendersi su più GPU in un singolo nodo ed essere salvati in un unico artefatto tra i rank, compresi quelli che usano il parallelismo tensoriale, il parallelismo dei dati e degli esperti e il parallelismo del contesto di decodifica. Sono disponibili esempi pronti all’uso per vLLM, SGLang e TensorRT LLM.

Risultati dei benchmark

Il sistema è stato testato con quei tre motori di inferenza e con modelli che vanno da 600 milioni di parametri a modelli mixture-of-experts con checkpoint fino a 1 TB su otto GPU. Nei test dell’azienda, i tempi di ripristino sono variati da 3,6 a 42,7 secondi: secondo l’azienda, un risultato da 8 a 36 volte più rapido rispetto a un avvio da zero. I carichi di lavoro MoE più grandi tra quelli testati sono stati ripristinati in meno di 43 secondi; i loro avvii a freddo hanno richiesto da 6 a 19 minuti.

La configurazione del benchmark utilizzava GPU NVIDIA B200 e storage VAST NFS, con vLLM 0.31.0, SGLang 0.5.21 e TensorRT LLM 1.3.0. La creazione del checkpoint ha richiesto da 15 secondi a 5,5 minuti a seconda del modello e della configurazione e, secondo l’azienda, la creazione del checkpoint seguita da un ripristino è stata più rapida di un singolo avvio a freddo in ogni configurazione testata.

Cosa comprendono le misurazioni

Il tempo di avvio a freddo è stato misurato dal lancio del processo al completamento dell’inizializzazione del motore, mentre il tempo di ripristino è stato misurato dalla richiesta di ripristino al momento in cui il carico di lavoro ha ripreso a fornire il servizio. Entrambe le misurazioni hanno escluso il download dell’immagine del container e la configurazione del runtime del container, quindi questi passaggi restano fuori dai tempi di ripristino riportati.

L’analisi dettagliata dei test MoE su otto GPU ha rilevato che il ripristino dello stato della GPU ha richiesto da 18 a 29 secondi. Il ripristino dello stato del processo sulla CPU con CRIU, lo strumento Linux per il checkpoint dei processi usato nel test, ha richiesto da 4,2 a 10,8 secondi. Il repository include strumenti per i benchmark e istruzioni per riprodurli, oltre a guide per l’installazione e l’utilizzo.