The Pulse

AWS aggiunge il partizionamento delle GPU con NVIDIA MIG agli endpoint di inferenza di SageMaker

Amazon SageMaker Inference supporta ora le partizioni NVIDIA MIG sugli endpoint che utilizzano componenti di inferenza. AWS ha confrontato una partizione di H100 con una A100 intera, rilevando che i risultati in termini di prestazioni e cos

AI.info Team · Scritto con l’IA · verificato · 2026-11-06

Nell’esempio di configurazione di SageMaker, un’istanza ml.p4d.24xlarge con otto GPU A100 può fornire 24 partizioni GPU. Ognuna delle otto A100 ospita tre partizioni: una mig-4g.20gb, una mig-2g.10gb e una mig-1g.5gb.

NVIDIA MIG divide una GPU in un massimo di sette istanze isolate

La funzionalità utilizza NVIDIA Multi-Instance GPU (MIG) per dividere una GPU fisica in partizioni indipendenti. Ogni partizione riceve una quota fissa delle unità di calcolo della GPU e un blocco dedicato della sua memoria, con isolamento garantito a livello hardware. A seconda dell’acceleratore, MIG può dividere una GPU in un massimo di sette istanze.

Il partizionamento delle GPU funziona sugli endpoint che utilizzano componenti di inferenza, i quali permettono agli utenti di distribuire più modelli su un unico endpoint e stabilire le risorse di calcolo assegnate a ciascun modello. Non è possibile partizionare gli endpoint con un solo modello, gli endpoint serverless e i pool di istanze eterogenee. Secondo AWS, ogni modello può mantenere la propria partizione e rimanere caricato, senza penalizzazioni dovute al caricamento né rimozioni dalla memoria.

Due campi facoltativi configurano l’endpoint

AWS aggiunge due campi facoltativi alle chiamate API già in uso, senza introdurre nuove operazioni, tipi di risorse o azioni AWS Identity and Access Management (IAM). AcceleratorPartitionLayouts viene impostato su una variante di produzione e dichiara come viene diviso ogni acceleratore. AcceleratorPartitionType viene impostato su un componente di inferenza e seleziona la partizione su cui viene eseguito il modello.

Ogni copia di un componente occupa una partizione del tipo richiesto; aumentando CopyCount si collocano più copie sulle partizioni libere. Il partizionamento avviene durante la predisposizione dell’endpoint e, nei test di AWS, la suddivisione degli acceleratori ha aggiunto circa 17 secondi a questa fase. Il resto del tempo è quello normalmente necessario per l’avvio dell’istanza e il download del container.

Una partizione di H100 è stata più veloce di una A100 intera nel test di AWS

AWS ha confrontato una partizione H100 mig-3g.40gb con una A100-40GB non partizionata, eseguendo Llama-3.1-8B-Instruct su endpoint SageMaker in tempo reale in produzione. Il test ha esaminato cinque profili di traffico, dai prompt brevi alla sintesi di contesti lunghi, su una scala di concorrenza da 2 a 512. La partizione di H100 ha prodotto dal 53 all’89 per cento in più di token di output al secondo al livello di carico in cui il vantaggio economico di ciascuno scenario era maggiore.

La latenza tra token era inferiore dall’8,9 al 42,1 per cento e il tempo al primo token dal 5,6 al 47,5 per cento. Oltre la soglia di pareggio, la partizione costava dal 18 al 34 per cento in meno per milione di token di output; tale soglia veniva raggiunta a un livello di concorrenza di 64 per i prompt da 100 token e di 4 per quelli da 8.000 token. Al di sotto della soglia, la A100 intera era la soluzione più economica.

Ai livelli più alti della scala di concorrenza, nei carichi di lavoro da 6.000 e 8.000 token, la A100 non è riuscita a completare tra un terzo e metà delle richieste entro il termine previsto per l’erogazione, mentre la partizione non ne ha mancata nessuna. AWS precisa che il confronto è specifico per i carichi di lavoro esaminati: la A100 intera è rimasta più economica per quelli con input brevi o bassa concorrenza.

Le configurazioni sono fisse e la fatturazione delle istanze non cambia

La configurazione delle partizioni dell’endpoint viene scelta al momento della creazione, perché MIG consente di modificarla solo mentre le partizioni sono inattive. Il tipo di partizione di un componente è fisso per tutta la sua durata e per cambiarne il profilo occorre creare un nuovo componente. Per modificare la suddivisione dell’endpoint servono un nuovo endpoint e una migrazione del traffico.

AWS afferma che ai clienti viene fatturata l’intera istanza GPU; il partizionamento aumenta la quota dell’istanza che possono utilizzare senza modificarne il prezzo orario. AWS precisa anche che l’isolamento delle GPU non si estende all’intera istanza: i modelli sulla stessa istanza continuano a condividere la CPU host, la memoria di sistema, lo storage, la rete e l’instradamento dell’endpoint.