The Pulse
Modal rende disponibili a tutti i cluster GPU multinodo
Il 1° ottobre 2026 Modal ha reso disponibili i suoi cluster GPU multinodo a tutti i workspace, con pianificazione coordinata dei nodi, fatturazione al secondo e rete RDMA. Il servizio usa un decoratore Python per richiedere nodi GPU coordin
AI.info Team · Scritto con l’IA ·
Una richiesta, più nodi GPU coordinati
I lavori di IA multinodo richiedono che più macchine siano pronte insieme, ma coordinarle può rendere più difficile aumentare o ridurre le risorse in base alle esigenze. Secondo Modal, i suoi Clusters, ora disponibili a tutti, risolvono questa tensione: gli sviluppatori possono richiedere un gruppo di container GPU con un solo decoratore Python, mentre Modal gestisce l’assegnazione e la pianificazione. L’azienda ha annunciato il lancio il 1° ottobre 2026, dopo 1,5 anni di test.
Il servizio è disponibile per tutti i workspace Modal. Nell’esempio fornito, uno sviluppatore aggiunge @modal.clustered(size=4, rdma=True) a una funzione configurata per otto GPU B300 per container, richiedendo quattro container coordinati. Secondo Modal, i cluster attingono allo stesso insieme di risorse disponibili per gli altri carichi di lavoro, possono essere ottenuti in pochi secondi e sono fatturati al secondo.
La pianificazione coordinata tratta il cluster come un unico lavoro
Lo scheduler già in uso di Modal prende decisioni sui singoli nodi. Per i lavori multinodo, l’azienda afferma di aver creato uno «gang scheduler» separato, che considera l’intero parco macchine, assegna insieme tutti i nodi richiesti all’interno di una zona e di una rete e avvia ulteriori risorse se quelle già disponibili non sono sufficienti per il lavoro.
Questa soluzione è importante perché un cluster incompleto non basta ad avviare un lavoro che dipende da tutti i suoi nodi. Secondo Modal, lo scheduler avvia il lavoro quando l’intero gruppo è pronto, anziché eseguire i container man mano che diventano disponibili. L’azienda afferma inoltre di aver esteso alla rete RDMA i controlli automatizzati sullo stato delle GPU.
RDMA è pensata per il traffico tra GPU
L’opzione di rete del prodotto è pensata per i carichi di lavoro che trasferiscono grandi quantità di dati tra macchine, tra cui l’addestramento distribuito e l’inferenza multinodo. Secondo Modal, impostare rdma=True automatizza la configurazione dei carichi di lavoro PyTorch che usano NCCL. L’annuncio indica un massimo di 6,4 terabit al secondo; la documentazione precisa che questa cifra riguarda i cluster B300, mentre gli altri tipi di GPU supportati dispongono di una rete RDMA da 3,2 terabit al secondo.
L’implementazione di Modal affronta anche un problema del suo ambiente di container sicuri. L’azienda afferma di aver aggiunto a gVisor il supporto per RDMA: gVisor intercetta la chiamata di sistema relativa alla rete e la inoltra al kernel dell’host. Modal afferma di aver integrato queste modifiche nel progetto originale. Secondo la sua descrizione, i dati possono spostarsi direttamente tra la memoria delle GPU e le interfacce di rete, senza passare per la RAM dell’host.
Runway sottolinea l’elasticità; restano i limiti sulle GPU
Modal presenta i cluster come utili sia per l’addestramento sia per l’erogazione dei servizi. Kamil Sindi, direttore tecnico di Runway, ha detto che le difficoltà infrastrutturali possono rendere complicato adattare le risorse dell’inferenza multinodo alla domanda: «L’inferenza multinodo è un problema infrastrutturale complesso. Rende difficile adattare le risorse alla domanda, una capacità indispensabile per i carichi di lavoro di inferenza. La piattaforma di Modal, con funzionalità pronte all’uso come il clustering e la scalabilità automatica configurabile, ci ha aiutato a dimensionare rapidamente diversi carichi di lavoro di inferenza in produzione per soddisfare una domanda crescente».
L’interfaccia semplificata ha dei limiti. La documentazione di Modal indica che ogni container di un cluster deve richiedere tutte le GPU del proprio host e che i cluster con sole CPU non sono supportati. Secondo l’azienda, la dimensione dei cluster è inoltre soggetta ai limiti di GPU del workspace; la documentazione descrive gruppi fino a 256 dispositivi e indica che per cluster più grandi è necessario contattare Modal.
Per gli sviluppatori, il cambiamento non consiste tanto nell’eliminare il codice per il calcolo distribuito quanto nel togliere alcuni passaggi infrastrutturali che lo circondano. Le applicazioni devono comunque coordinare il lavoro tra i container, ma Modal offre ora uno scheduler on demand, la configurazione della rete e un modello di fatturazione per ottenere insieme l’intero gruppo di GPU.