The Pulse
Google illustra un addestramento per rinforzo con corrispondenza bit per bit su 64 chip TPU
Google afferma che il suo prototipo ha eliminato una discrepanza numerica tra campionamento e addestramento in un test di apprendimento per rinforzo condotto su 64 chip TPU v5p. Il test con un singolo seed ha utilizzato un ambiente sintetico e un checkpoint Qwen3-8B.

Un prototipo di Google ha prodotto calcoli delle probabilità identici bit per bit nei percorsi di campionamento e addestramento in un test di apprendimento per rinforzo condotto su 64 chip TPU v5p. In un post sul blog per sviluppatori del 16 novembre, l’azienda ha affermato che l’approccio affronta una discrepanza numerica che può destabilizzare l’addestramento dei modelli linguistici di grandi dimensioni.
Il lavoro è stato sviluppato in Tunix, la libreria open source di Google basata su JAX per l’apprendimento per rinforzo e il post-training dei modelli linguistici su Cloud TPU. Il prototipo, chiamato Zero train–inference mismatch, o Zero-TIM, mantiene pipeline separate per il serving e l’addestramento, invece di combinarle in un unico motore.
Un test di allineamento numerico
Nel test, Google ha eseguito una verifica numerica di 200 passaggi nell’ambiente sintetico FrozenLake. Il confronto ha utilizzato un checkpoint pubblico Qwen3-8B e una mesh multi-host di 64 chip TPU v5p, configurata come DP8×TP8.
Secondo Google, l’esecuzione di Zero-TIM ha registrato una differenza assoluta media pari a zero tra le log-probabilità del sampler e quelle del trainer a ogni passaggio registrato. L’addestramento standard e un metodo di importance sampling troncato a livello di token hanno mantenuto differenze non nulle; quest’ultimo ne ha corretto il contributo all’aggiornamento senza eliminare la discrepanza.
Google ha riferito che nelle esecuzioni Zero-TIM sono stati osservati tassi di soluzione più alti. Le esecuzioni hanno utilizzato un singolo seed su griglie FrozenLake da 2×2 a 9×9, con fino a cinque turni di interazione, e i risultati mostrati coprivano i primi 200 passaggi di addestramento.
La configurazione Zero-TIM ha anche preservato gli ID dei token campionati tra i turni nell’ambiente, utilizzando una gestione token-in/token-out. Le esecuzioni di confronto hanno mantenuto i percorsi di tokenizzazione già esistenti.
Da dove nasce la discrepanza
Nell’apprendimento per rinforzo con modelli linguistici di grandi dimensioni, il modello funge da policy che seleziona azioni in base ai token precedenti. Nell’apprendimento on-policy, sampler e trainer devono valutare quella policy in modo identico quando utilizzano gli stessi pesi e la stessa cronologia dei token.
Il sampler seleziona i token d’azione durante la decodifica incrementale e ne registra le log-probabilità. Il trainer valuta quei token in passaggi forward e backward raggruppati in batch per calcolare le log-probabilità correnti e i gradienti.
Google afferma che le differenze tra i percorsi di esecuzione possono modificare l’ordine delle operazioni in virgola mobile e la precisione dei risultati intermedi, generando bit di probabilità diversi anche quando i pesi e le equazioni del modello coincidono. Il prototipo verifica tre percorsi: la decodifica del sampler, il prefill del serving e il passaggio forward del trainer.
Il confronto tra decodifica e prefill verifica se il motore di serving è coerente con sé stesso quando genera e ricalcola il punteggio dei token. Il confronto tra prefill e trainer verifica la coerenza tra serving e addestramento.
Controllare l’aritmetica
L’implementazione utilizza kernel Pallas per controllare l’ordine di accumulo e la precisione intermedia all’interno di ogni rank tensor-parallelo. I prodotti parziali vengono accumulati in float32 prima di conversioni esplicite del tipo di dato in uscita, mentre kernel dedicati controllano le riduzioni di normalizzazione e le conversioni intermedie.
Tra i rank, l’approccio separa la comunicazione dall’addizione: i risultati parziali vengono trasferiti e poi sommati nello stesso ordine dei rank di origine. I percorsi utilizzano inoltre trasformazioni di campionamento corrispondenti e la stessa costruzione di log-softmax prima di selezionare il token d’azione registrato.
Il trainer riutilizza il calcolo di prefill del serving, con regole di differenziazione personalizzate che forniscono il passaggio backward. Le traiettorie lunghe vengono valutate in blocchi di dimensione fissa, mantenendo lo stato della cache da un blocco all’altro e propagando i gradienti all’indietro attraverso i collegamenti della cache prima dell’aggiornamento dell’ottimizzatore.
Google sta estendendo il supporto alle architetture con attenzione lineare e Mixture-of-Experts. L’implementazione attuale è disponibile in anteprima nell’ambito del lavoro su Tunix.
Fonte
Aziende in questa notizia
Notizie correlate
- Il team RadixArk descrive l’inferenza di Muse Spark Open di Meta su un solo host TPU
- Google riferisce i risultati delle TPU Ironwood nei test di addestramento MLPerf
- Adobe e Google ampliano la partnership sull’IA nelle app
- Google lancia un benchmark per gli agenti che svolgono lavoro intellettuale con contenuti visivi
- Il satellite Suncatcher di Google invia sulla Terra la sua prima risposta generata dall’IA