The Pulse

Agent Substrate punta a una maggiore densità dei carichi di lavoro Kubernetes

Il runtime open source Agent Substrate di NVIDIA può sospendere gli agenti di IA inattivi e ripristinarli su worker Kubernetes condivisi. Anche il supporto per le GPU è in fase di sviluppo e il runtime si integra con il framework di inferen

AI.info Team · Scritto con l’IA · verificato · 2026-11-10

Un pool per carichi di lavoro intermittenti

Agent Substrate è stato donato alla Sandbox della Cloud Native Computing Foundation come runtime open source per agenti isolati in sandbox. NVIDIA descrive il sistema zero trust, rafforzato sul piano della sicurezza, come progettato per eseguire milioni di agenti e strumenti a una densità 10 volte superiore a quella dei container standard.

Il runtime è pensato per uno schema in cui gli agenti compiono un’azione, come eseguire un comando o chiamare un modello, e poi attendono prima del passo successivo. Secondo NVIDIA, mantenere pronto un Pod Kubernetes separato per ogni sessione spreca risorse durante questi periodi di inattività, mentre creare Pod su richiesta comporta un avvio di diversi secondi e la perdita dello stato dell’agente.

Agent Substrate usa Kubernetes per mantenere un pool di Pod worker pronti, quindi assegna a quel pool un insieme più ampio di ambienti per agenti, che il post chiama actor. Quando un actor si mette in pausa, la sua memoria e il suo filesystem vengono salvati in un checkpoint dalla sandbox gVisor o microVM, così che il worker possa essere riutilizzato; alla richiesta successiva, l’actor può essere ripristinato su un worker disponibile. I worker restano normali Pod Kubernetes, soggetti alle politiche di scheduling, quota e posizionamento del cluster.

Tre carichi di lavoro al centro dell’attenzione

Tra i carichi di lavoro a cui il sistema è destinato figurano gli assistenti di programmazione, il post-training con apprendimento per rinforzo e le sandbox di ricerca. Gli agenti di programmazione possono alternare chiamate ai modelli e lavoro sui repository, tra cui la modifica di file e l’esecuzione di build o test, mentre gli utenti si aspettano che il loro ambiente persista tra un turno e l’altro.

Nel post-training con apprendimento per rinforzo, i sistemi di addestramento su GPU e i server di generazione operano insieme ad ambienti che richiedono un uso intensivo della CPU, come sandbox per il codice, compilatori, browser e simulatori. La domanda di sandbox può arrivare a raffiche quando i rollout di addestramento inviano azioni; secondo NVIDIA, un’esecuzione può passare da qualche centinaio di sandbox nei primi esperimenti a molte centinaia di migliaia in produzione. Per la ricerca, il post descrive sandbox GPU di breve durata usate per compilare codice CUDA, effettuare benchmark dei kernel o eseguire calcoli numerici.

Alcune funzionalità sono ancora in fase di sviluppo

Il post descrive la messa in attesa delle richieste nel router di Agent Substrate: quando i worker sono occupati, una richiesta può attendere che se ne liberi uno, entro un tempo massimo e con un limite al numero di richieste in coda. Secondo NVIDIA, la funzione è pensata per i picchi nell’uso degli assistenti di programmazione o nei rollout dell’apprendimento per rinforzo.

L’accesso alle GPU è in fase di sviluppo tramite Kubernetes Dynamic Resource Allocation, o DRA. Il modello proposto per l’integrazione dei dispositivi consente a ogni container della sandbox di richiedere quelli di cui ha bisogno e NVIDIA afferma che le sue GPU saranno i primi dispositivi supportati. Un altro contributo aggiunge limiti di CPU e memoria per ciascun container nelle sandbox microVM; un container che supera il proprio limite di memoria può essere arrestato senza fermare il resto della sandbox.

È inoltre proposta un’architettura indipendente dal fornitore per sospendere e riprendere le sandbox GPU. Poiché lo stato salvato di una GPU può dipendere dal modello del dispositivo e talvolta dalla versione del suo driver, l’architettura registra le proprietà del dispositivo con ogni snapshot e ripristina la sandbox su un dispositivo compatibile oppure, se non è disponibile, ricorre a un nuovo avvio a freddo.

Collegare l’esecuzione degli agenti e dei modelli

Agent Substrate gestisce gli ambienti degli agenti, mentre NVIDIA Dynamo coordina l’inferenza tra i worker GPU. Il router di Dynamo può usare informazioni sulla posizione delle cache key-value, sul carico di lavoro delle GPU e segnali relativi alle sessioni degli agenti per indirizzare le chiamate correlate ai modelli verso worker che dispongono già di contesto riutilizzabile.

Dynamo può anche fornire ad Agent Substrate stime come il tempo al primo token, il tempo previsto per il completamento, l’avanzamento delle richieste, la disponibilità della cache e la saturazione del pool di GPU. Il runtime può usare questi segnali per decidere se un actor debba rimanere attivo, mettersi in pausa durante un’attesa più lunga del modello o riprendere mentre una risposta è prossima al completamento.

KAI Scheduler colloca i Pod worker di Substrate insieme ai sistemi di addestramento su GPU e ai server di inferenza. NVIDIA descrive Agent Substrate come un progetto indipendente della CNCF Sandbox che si integra con componenti della sua DSX AI Factory Platform, anziché come un componente identificato di DSX OS. Le API sono ancora in evoluzione, il supporto per le GPU viene ricostruito su DRA e NVIDIA afferma che alcune parti dell’integrazione con Dynamo restano sperimentali.