The Pulse
Google Cloud delinea uno stack Envoy per instradare il traffico degli agenti IA
Google Cloud ha delineato un approccio basato su Envoy per instradare le richieste ai modelli, limitare l’uso di token e gestire le chiamate degli agenti IA agli strumenti. L’azienda descrive come il proxy possa lavorare con Agent Substrate per gestire gli agenti sospesi e limitare il traffico in uscita.

Google Cloud ha delineato uno stack basato su Envoy per instradare le richieste ai modelli di IA, monitorare i budget di token e controllare l’accesso degli agenti agli strumenti. In un post sul blog, l’azienda ha descritto come il proxy open source e i componenti correlati possano gestire un traffico che le reti tradizionali basate sulle richieste non distinguono.
Envoy è un proxy edge e per i servizi progettato per le applicazioni cloud-native. La descrizione di Google Cloud riunisce l’analisi dei corpi delle richieste, i limiti di token, l’instradamento verso modelli e strumenti e i controlli di sicurezza esterni come elementi principali di uno stack incentrato sugli agenti.
Leggere le richieste e contare i token
Google Cloud individua quattro difficoltà nell’interporre proxy tradizionali di Layer 7 agli agenti autonomi: informazioni nascoste nei corpi delle richieste, limiti basati sul numero di richieste, bilanciamento del carico senza stato ed esecuzione degli strumenti senza ispezione in linea. L’azienda afferma che gli agenti scelgono quali servizi contattare, consumano token su più turni e potrebbero aver bisogno che le loro sessioni siano indirizzate di nuovo a un server che conserva il loro contesto.
L’ecosistema Envoy include parser dei corpi che normalizzano le richieste tra diverse famiglie di modelli, ispezionano il payload per individuare il modello di destinazione e traducono la richiesta nel formato del provider. Google Cloud afferma che un’applicazione può passare da un modello commerciale a un modello ospitato autonomamente tramite un aggiornamento della configurazione di Envoy, senza modificare il codice dell’applicazione.
Secondo il post, il proxy analizza anche i flussi di risposta di eventi inviati dal server per acquisire il conteggio dei token dalle informazioni sull’utilizzo. I controlli dei token descritti impostano limiti al minuto e al giorno per tenant, progetto o modello, anziché basarsi soltanto sul numero di richieste.
Envoy stima i token di input in base ai byte delle richieste e registra in un database delle quote l’utilizzo effettivo ricavato dalle risposte dei modelli. Google Cloud afferma che può rifiutare le richieste successive che superano la quota con una risposta HTTP 429, prima che raggiungano il cluster di inferenza. Descrive inoltre il monitoraggio del consumo di token e del numero di messaggi per sessione o agente, per limitare i cicli che superano i budget assegnati.
Instradare modelli e strumenti
Per l’instradamento dei modelli, Google Cloud descrive l’uso delle Kubernetes Gateway API Inference Extensions e di Endpoint Picker per inviare prompt con istruzioni di sistema identiche a un worker GPU che contiene la cache pertinente. L’azienda afferma che questo riduce la latenza. Aggiunge che una richiesta può essere ripetuta o reindirizzata a un pool di modelli secondario se il modello primario non funziona o restituisce uno stato 429.
Per le chiamate agli strumenti tramite Model Context Protocol (MCP), Envoy può instradare le richieste usando i corpi delle richieste e le intestazioni HTTP. Il post descrive l’uso delle intestazioni Mcp-Method e Mcp-Name secondo la specifica MCP del 28 luglio 2026, consentendo l’instradamento senza analizzare il corpo. Secondo Google Cloud, i backend rifiutano le discrepanze tra queste intestazioni e il corpo con un errore HTTP 400 / -32020 HeaderMismatch.
Envoy può connettersi tramite l’elaborazione esterna a motori di policy, tra cui Model Armor di Google Cloud, ShieldGemma o classificatori locali. L’azienda descrive queste chiamate come un modo per rilevare prompt injection e fughe di dati sensibili durante l’elaborazione del traffico.
Gestire gli agenti inattivi
L’azienda descrive anche l’abbinamento di Envoy con Agent Substrate, un runtime per gli ambienti degli agenti. Agent Substrate usa runtime di isolamento leggeri, che possono essere sospesi e ripresi, tra cui Cloud Hypervisor, microVM e sandbox applicative gVisor.
Quando il traffico raggiunge un agente sospeso, Envoy memorizza temporaneamente il pacchetto iniziale mentre segnala al runtime di riprendere l’istanza. Google Cloud afferma che la ripresa end-to-end si completa in millisecondi. Envoy può anche fungere da gateway in entrata e in uscita, instradando il traffico in ingresso e limitando le chiamate in uscita ai domini verificati.
Fonte
Aziende in questa notizia
Notizie correlate
- Google illustra le revisioni agentiche di Sashiko sulle patch di Linux
- Cerebras porta in produzione l’inferenza IA suddivisa con GPU AMD
- CloudBackend raccoglie 6,6 milioni di euro per l’infrastruttura delle applicazioni di IA
- I leader del Quad sostengono un acceleratore per l’accesso all’IA nell’Indo-Pacifico
- Google apre una lista d’attesa globale per l’agente sperimentale Stitch Loop