The Pulse
Hugging Face aggiunge il training nativo con PyTorch su AWS Trainium
Hugging Face afferma che le sue librerie possono ora usare AWS Trainium tramite TorchNeuron, un backend nativo per PyTorch che entrerà in beta pubblica il 20 ottobre 2026. La novità porta sull’hardware le API familiari per il training e l’e
AI.info Team · Scritto con l’IA · verificato ·
Hugging Face afferma che gli sviluppatori possono addestrare modelli su AWS Trainium usando le librerie PyTorch che già conoscono. La nuova modalità arriverà inizialmente in beta pubblica e richiederà ancora soluzioni alternative per gestire le forme statiche degli input. Hugging Face ha pubblicato l’annuncio dell’integrazione il 19 ottobre 2026; la disponibilità pubblica di TorchNeuron è prevista per il giorno successivo.
Trainium diventa un dispositivo PyTorch nativo
TorchNeuron è un plugin di PyTorch che registra Trainium come dispositivo nativo, consentendo l’esecuzione immediata, torch.compile e l’uso di strumenti per l’elaborazione distribuita. Hugging Face indica Transformers, Diffusers, Accelerate, PEFT e TRL come librerie in grado di usare direttamente Trainium, con le stesse classi e gli stessi script di training che gli sviluppatori usano su altri acceleratori. L’annuncio descrive anche il supporto per la sua libreria Kernels.
La nuova modalità sostituisce un flusso di lavoro più specializzato basato su Optimum Neuron e PyTorch XLA. Secondo Hugging Face, la configurazione precedente prevedeva tensori lazy, forme statiche e ricompilazioni quando si interrompeva un grafo; Optimum Neuron manteneva classi di modelli e strumenti di training personalizzati per nascondere parte di questa complessità. Ora l’azienda raccomanda agli utenti di Neuron di lavorare direttamente con le librerie standard di Hugging Face.
TorchNeuron si basa sui punti di estensione di PyTorch per l’hardware personalizzato. L’annuncio di PyTorch afferma che il backend supporta l’esecuzione immediata e torch.compile su Trainium2 e Trainium3, oltre alle API standard per l’elaborazione distribuita. Gli sviluppatori possono spostare un modello sul dispositivo neuron, mentre per i modelli compilati possono selezionare il backend Neuron.
«Il supporto nativo per AWS Trainium amplia questa scelta, consentendo a ricercatori e ingegneri di sperimentare e procedere per iterazioni usando l’esecuzione immediata e le API per l’elaborazione distribuita che già conoscono.»
Jana van Greunen, direttrice dell’ingegneria di PyTorch presso Meta
La dimostrazione usa otto chip Trainium2
L’esempio di training di Hugging Face esegue il fine-tuning di Qwen3-8B sul dataset UltraChat usando lo strumento standard SFTTrainer di TRL. Impiega il parallelismo dei tensori e Fully Sharded Data Parallelism (FSDP), con torch.compile abilitato. L’azienda ha eseguito l’esempio su otto chip Trainium2, pari a 32 NeuronCores: metà di un’istanza trn2.48xlarge.
Lo script di training carica il modello e il dataset, configura il training distribuito e salva il checkpoint risultante tramite lo strumento di training. Secondo Hugging Face, quel checkpoint è un modello Transformers standard: può essere condiviso su Hugging Face Hub e caricato su altro hardware, anziché essere vincolato a Trainium.
L’annuncio riporta anche un confronto separato sull’inferenza: l’89% delle 100 architetture di modelli per la generazione di testo più utilizzate funziona senza modifiche con TorchNeuron, contro il 46% con Optimum Neuron v0.4.5. Questi dati descrivono il supporto delle architetture per l’inferenza nella generazione di testo; non misurano la velocità del training né la qualità dei modelli. Per l’inferenza, l’esempio usa una cache statica, che Hugging Face raccomanda per evitare ricompilazioni frequenti.
Gli utenti della beta devono ancora fare i conti con limiti relativi alle forme
Il passaggio a PyTorch nativo non elimina tutti i vincoli specifici dell’hardware. L’esempio di training di Hugging Face disabilita le forme dinamiche automatiche perché il backend Neuron non è ancora in grado di compilarle. Usa il packing con avvolgimento per produrre sequenze fino a 2.048 token; con TRL versione 1.16 o successiva, ai batch viene aggiunto un riempimento fino a raggiungere multipli di 128 token, per limitare il numero di forme degli input. Secondo l’annuncio, i grafi compilati possono poi essere riutilizzati nei passaggi successivi che presentano le stesse forme.
L’esempio disabilita anche il caricamento asincrono dei pesi di Transformers, che secondo Hugging Face Neuron non supporta ancora. La beta pubblica di TorchNeuron dovrebbe iniziare il 20 ottobre 2026 e potrà essere installata con pip install torch-neuronx. PyTorch afferma che la versione sarà open source con licenza Apache 2.0 e supporterà Trainium2 e Trainium3. Le interfacce familiari delle librerie semplificano la programmazione, mentre la gestione delle forme e i limiti del caricamento dei pesi restano aspetti pratici da considerare per chi adotta la beta.