The Pulse

Google aggiunge TPU 8tx e TPU 8i Max alla sua linea di ottava generazione

I due nuovi sistemi TPU di Google riutilizzano chip esistenti: TPU 8tx abbina i chip TPU 8t a host AMD EPYC per l’inferenza riservata, mentre TPU 8i Max colloca due chip TPU 8i in un unico package per il lavoro degli agenti con contesti lun

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

Google ha aggiunto due sistemi alla sua ottava generazione di Tensor Processing Unit: TPU 8tx, destinato all’inferenza riservata per clienti soggetti a regolamentazione, e TPU 8i Max, che colloca due chip TPU 8i in un unico package per finestre di contesto molto lunghe. L’annuncio è arrivato in un post sul blog di Google a firma di Amin Vahdat, vicepresidente senior e responsabile tecnologico per l’IA e l’infrastruttura. Lo stesso giorno AMD ha pubblicato un comunicato in cui conferma che i suoi processori EPYC di quinta generazione fungono da CPU host all’interno di TPU 8tx.

Le due aggiunte seguono TPU 8t e TPU 8i, che Google ha presentato ad aprile al Google Cloud Next. Google afferma che questo è il primo anno in cui ha introdotto quattro sistemi TPU.

Due nuovi sistemi costruiti con chip esistenti

Nel suo post, Vahdat distingue tra un nuovo chip e un nuovo sistema. Secondo Google, un chip richiede anni di progettazione e produzione; un sistema è l’insieme di package, memoria, rete e sicurezza assemblato attorno a quel chip e può essere modificato in pochi mesi. Nessuno dei due nuovi prodotti usa nuovi chip. TPU 8tx si basa sugli stessi chip di TPU 8t, mentre TPU 8i Max combina due chip TPU 8i.

Google presenta i quattro prodotti come un insieme che copre quello che definisce il ciclo di vita agentico. Nella sua ripartizione, TPU 8t gestisce l’addestramento su larga scala e TPU 8i il ragionamento a bassa latenza, mentre TPU 8tx copre il confidential computing e TPU 8i Max le finestre di contesto molto grandi. Google aggiunge che 8i Max offre la maggiore densità di calcolo per rack.

TPU 8tx: crittografia durante l’uso dei dati

Di norma i dati vengono cifrati quando sono archiviati e durante il trasferimento, poi decifrati in memoria per l’elaborazione. Google afferma che TPU 8tx porta la protezione nell’hardware, in modo che i dati sensibili e i pesi dei modelli rimangano protetti e isolati mentre il chip li elabora. I suoi potenziali acquirenti sono governi e aziende soggette a regolamentazione che eseguono modelli e agenti di frontiera o proprietari sui propri dati più sensibili. Google lo descrive come ottimizzato per un’inferenza sicura e riservata, nonché adatto all’addestramento su piccola scala.

TPU 8tx utilizza Boardfly, la rete a bassa latenza sviluppata da Google per TPU 8i. Google dichiara una latenza fino a due volte inferiore rispetto a TPU 8t, con quello che definisce un costo pressoché nullo in termini di prestazioni. L’azienda afferma inoltre che i clienti possono effettuare il fine-tuning dei modelli su dati privati, distillare modelli di grandi dimensioni in modelli più piccoli ed eseguire il reinforcement learning sullo stesso sistema, senza spostare dati sensibili tra cluster.

Il comunicato di AMD fornisce i dettagli relativi all’host. Le sue CPU EPYC di quinta generazione gestiscono l’orchestrazione dei carichi di lavoro, la preparazione dei dati e la comunicazione con le TPU, mentre AMD Secure Encrypted Virtualization (SEV), lavorando insieme alla TPU, estende la protezione del confidential computing oltre la CPU, fino agli acceleratori collegati. AMD definisce TPU 8tx il primo sistema TPU cloud a offrire confidential computing garantito dall’hardware. Una nota a piè di pagina aggiunge che le funzionalità di sicurezza Infinity Guard variano a seconda della generazione di EPYC e devono essere abilitate dai produttori di server o dai fornitori cloud per funzionare.

Abbinando i processori AMD EPYC di quinta generazione alla nostra architettura TPU di ottava generazione all’interno di AI Hypercomputer, portiamo per la prima volta il confidential computing garantito dall’hardware alle TPU cloud.

Mark Lohmeyer, vicepresidente e direttore generale per l’IA e l’infrastruttura di calcolo, Google Cloud

Il comunicato osserva che AMD SEV è già alla base di Confidential VMs, Confidential GKE, Confidential Space, Confidential Managed Service for Apache Spark e Confidential Dataflow di Google Cloud e che i chip EPYC sono presenti nelle macchine virtuali C4D, N4D, H4D, Z4D e G4 su Compute Engine.

TPU 8i Max: due chip in un unico package

TPU 8i Max è rivolto a quello che Google chiama il limite della memoria, il punto in cui la larghezza di banda della memoria limita attività come quelle di decine di agenti che operano su un’intera codebase o su ore di video. Combinando due chip TPU 8i in un unico package, Google afferma che il sistema dispone del doppio della capacità di calcolo di un singolo TPU 8i, del doppio della sua SRAM e del doppio della sua larghezza di banda HBM. Google afferma inoltre di riuscire a inserire il doppio dei chip nello spazio già occupato dal rack.

Per dare un’idea delle dimensioni, nel post di aprile Google indicava per un singolo TPU 8i 288 GB di memoria ad alta larghezza di banda e 384 MB di SRAM sul chip, tre volte la SRAM della generazione precedente. Il raddoppio indicato da Google per TPU 8i Max riguarda la capacità di calcolo, la SRAM e la larghezza di banda HBM.

A che punto sono i chip di aprile

Il nuovo post attribuisce a TPU 8t prestazioni di addestramento fino a 2,7 volte migliori rispetto alla generazione precedente e a TPU 8i un rapporto prezzo-prestazioni nell’inferenza migliore dell’80%. Ad aprile Google aveva descritto TPU 8t come capace di offrire prestazioni di calcolo per pod quasi triplicate, con fino a 9.600 chip in un unico superpod che condividono due petabyte di memoria ad alta larghezza di banda. Aveva inoltre affermato che entrambi i chip offrivano prestazioni per watt fino a due volte migliori rispetto a Ironwood, la settima generazione. Il post di aprile indicava che entrambi i chip sarebbero stati disponibili per tutti più avanti nel 2026.

Google indica inoltre che i clienti TPU sono quasi 100, dai laboratori di frontiera e le società di trading ai rivenditori e alle università, e che alcuni clienti ora installano le TPU nei propri data center.

Software rivolto agli utenti PyTorch

L’hardware è stato accompagnato da un elenco di aggiornamenti software. Google segnala TorchTPU, che ha reso open source a ottobre affinché il codice PyTorch e i modelli Hugging Face vengano eseguiti nativamente sulle TPU, e una nuova suite open source di agenti TPU, in anteprima, che funziona all’interno di strumenti di programmazione tra cui Claude Code, Cursor e Google Antigravity. Ha inoltre annunciato XLA Serving Engine, open source, Agent Compute Engine, che sospende e riprende le sessioni inattive degli agenti, e TPU Sync, un livello open source per lo stato dei modelli che, secondo Google, riduce la latenza di trasferimento KV e il tempo al primo token di oltre il 90%.

Secondo il post, Cloud Pathways e il partizionamento dinamico di GKE sono ora disponibili per tutti su Google Kubernetes Engine. Google sostiene che il partizionamento dinamico riduce i tempi di avvio dei job fino a 5 volte. Google afferma inoltre che il suo stack vLLM-TorchTPU ha raggiunto un rapporto prezzo-prestazioni allo stato dell’arte nei benchmark InferenceX e AgentX, senza fornire i dati nel post.

I prossimi passi

Google ha programmato una trasmissione sui nuovi sistemi per le 9:00, ora del Pacifico, nel giorno dell’annuncio, e la sua pagina di prodotto Cloud TPU ora elenca TPU 8tx e TPU 8i Max accanto a TPU 8t, TPU 8i e Ironwood di settima generazione.