The Pulse

Google Cloud presenta uno stack IA aperto per Kubernetes

Google Cloud presenta e amplia uno stack IA open source per Kubernetes e Google Kubernetes Engine. Il post descrive strumenti per l’addestramento dei modelli, l’inferenza distribuita, i carichi di lavoro Ray e l’isolamento del codice degli

AI.info Team · Scritto con l’IA · verificato · 2026-11-10

Uno stack unificato

Google Cloud presenta e amplia uno stack IA open source per Kubernetes e Google Kubernetes Engine (GKE), illustrando il lavoro a KubeCon + CloudNativeCon North America 2026. L’annuncio è datato 10 novembre 2026.

I componenti elencati comprendono OpenRL, llm-d 1.0, Ray on GKE con KubeRay, Agent Substrate, gVisor e TorchTPU. OpenRL, llm-d, KubeRay, Agent Substrate e gVisor sono progetti CNCF Sandbox; TorchTPU è un backend per PyTorch su Cloud TPU e GPU.

Addestramento, inferenza e pianificazione

OpenRL è un servizio di post-addestramento nativo per Kubernetes, dedicato all’apprendimento per rinforzo e conferito da Google al CNCF Sandbox. OpenRL consente ai ricercatori di scrivere codice Python per l’addestramento attorno a quattro primitive: forward_backward, optim_step, sample e save_state.

OpenRL alterna le fasi di addestramento e l’inferenza per i rollout sugli stessi acceleratori, anziché richiedere cluster statici separati per ciascuna attività. Il servizio invia le modifiche ai parametri ai worker di rollout invece di trasferire tutti i pesi del modello dopo ogni fase di ottimizzazione.

Per l’erogazione dei modelli, llm-d 1.0 è un piano di controllo per l’inferenza distribuita che funziona con motori come vLLM e SGLang. Secondo il post, il suo instradamento basato sulla cache dei prefissi è progettato per inviare le richieste su più turni alle repliche con un contesto della cache chiave-valore corrispondente.

Google Cloud afferma che il suo instradamento basato sulla cache dei prefissi ha più che raddoppiato la percentuale di riscontri nella cache nelle distribuzioni in produzione, dal 35% al 70%. Riporta inoltre una riduzione del 70-85% del tempo mediano al primo token nei carichi di lavoro degli agenti su più turni.

llm-d può spostare i dati della cache dalla memoria dell’acceleratore alla memoria host e poi allo storage locale o cloud quando la memoria dell’acceleratore si avvicina al limite di capacità. KubeRay è un operatore Kubernetes per la gestione di cluster, job e servizi Ray, con integrazione Kueue per la condivisione della capacità di GPU e TPU.

Isolamento per i carichi di lavoro degli agenti

Per l’esecuzione degli agenti, Agent Substrate orchestra i flussi di lavoro, mentre gVisor isola il codice non attendibile a livello di chiamate di sistema. gVisor è un kernel in spazio utente che intercetta e virtualizza le chiamate di sistema.

Queste sandbox possono avviarsi in pochi millisecondi per ogni turno dell’agente e possono essere usate sia per la generazione dei rollout di OpenRL sia per i flussi di lavoro degli agenti in produzione. Google Cloud presenta l’isolamento come un modo per eseguire codice generato dai modelli in cluster condivisi senza esporre a quel codice i carichi di lavoro vicini.

Risultati del benchmark

Google Cloud riferisce di aver testato Gemma 4 con il Legal Agent Benchmark open source di Harvey.ai, che copre 24 aree della pratica legale. Secondo Google Cloud, la valutazione comprendeva questioni che spaziavano dalla due diligence per fusioni e acquisizioni alle controversie contrattuali.

In quella valutazione, il fine-tuning supervisionato standard ha raggiunto un’accuratezza di circa il 50% nei criteri di valutazione del ragionamento in più fasi, mentre l’apprendimento per rinforzo con OpenRL ha portato l’accuratezza al 70%, secondo Google Cloud. La pipeline di addestramento ha condiviso la capacità di GPU e TPU con job LoRA e di inferenza eseguiti contemporaneamente su GKE, senza gestione manuale delle partizioni, afferma il post.