The Pulse
VIDRAFT addestra un modello da 46 milioni di parametri su NPU destinate solo all’inferenza
VIDRAFT afferma di aver preaddestrato VKORE-46M-NPU da zero su 32 chip Rebellions ATOM-Max destinati all’inferenza. La scheda del modello segnala una stretta concordanza, livello per livello, tra i gradienti e quelli calcolati da PyTorch, m
AI.info Team · Scritto con l’IA ·
Secondo la scheda del modello di VIDRAFT, i gradienti calcolati, livello per livello, su una singola NPU Rebellions ATOM-Max corrispondevano a quelli di riferimento calcolati con PyTorch autograd, con una similarità coseno media di 0,99986. Ma questa verifica della correttezza su un singolo chip è distinta dal confronto tra i preaddestramenti su 32 chip: la scheda indica che le esecuzioni su NPU e GPU hanno seguito traiettorie della loss diverse, ridimensionando una precedente affermazione di rilievo secondo cui la correlazione era pari a 0,99.
VIDRAFT ha pubblicato VKORE-46M-NPU il 14 ottobre per dimostrare che un acceleratore orientato all’inferenza può eseguire la retropropagazione e addestrare un modello linguistico partendo da un’inizializzazione casuale. L’esperimento è volutamente di piccola scala e il confronto dettagliato mostra sia che il processo di addestramento funziona, sia i limiti di ciò che il confronto con le GPU dimostra.
Che cosa ha verificato l’esecuzione su 32 chip
VKORE-46M-NPU ha 45,8 milioni di parametri e un’architettura transformer solo decoder che usa RoPE, RMSNorm, SwiGLU e grouped-query attention. Ha 12 livelli, una dimensione nascosta di 512 e un vocabolario di 256 elementi a livello di carattere. Il team lo ha addestrato su circa 22,5 milioni di token tratti dal dataset pubblico TinyStories, usando una lunghezza del contesto di 256.
L’addestramento è stato eseguito su 32 chip Rebellions ATOM-Max di prima generazione, lanciati nel 2025. Secondo la scheda del modello, l’esecuzione ha richiesto alcune ore. La scheda riporta una velocità di elaborazione di circa 260.000 token al secondo sulle NPU, contro circa 275.000 token al secondo su due GPU Nvidia B200.
Questi valori di velocità sono vicini, ma non significano che le due esecuzioni abbiano seguito percorsi di ottimizzazione identici. Secondo la scheda del modello, nell’esecuzione sulle NPU è stata calcolata la media dei parametri ogni otto passaggi, con una configurazione in stile DiLoCo, mentre nell’esecuzione sulle B200 i gradienti sono stati sincronizzati a ogni passaggio. La differenza conta nell’interpretare il confronto tra le loss.
Il confronto sullo 0,99 richiede una precisazione
Nella sua descrizione tecnica, VIDRAFT presenta le esecuzioni su NPU e GPU come basate sulla stessa inizializzazione, sullo stesso ordine dei dati e sulla stessa pianificazione, e afferma che le rispettive traiettorie della loss hanno una correlazione di 0,99. La descrizione più dettagliata nella scheda del modello indica però che lo scarto tra le loss è cresciuto durante l’addestramento: al passaggio 2.950, la loss di addestramento su un singolo batch era di 0,42 per la NPU e di 0,25 per l’esecuzione sulla B200.
«Una correlazione elevata tra due curve della loss in discesa è poco significativa di per sé, quindi non la mettiamo in primo piano.»
VIDRAFT, scheda del modello VKORE-46M-NPU
La scheda indica che è in corso una nuova esecuzione controllata su GPU per isolare gli effetti dei diversi schemi di sincronizzazione. Finché questo confronto non sarà disponibile, la velocità di elaborazione riportata resta una misura utile, ma la correlazione di 0,99 non va interpretata come prova che l’addestramento su più chip NPU abbia riprodotto le dinamiche di ottimizzazione della GPU.
Le verifiche dei gradienti sostengono una conclusione più circoscritta
In una verifica separata, VIDRAFT ha confrontato i gradienti di una NPU con quelli di riferimento calcolati con autograd, usando lo stesso seed e lo stesso batch, senza sincronizzazione tra chip. Riporta una similarità coseno media per livello di 0,99986, con un minimo di 0,99972 e un massimo di 0,99996. In questa verifica, l’errore relativo massimo dei gradienti dell’implementazione manuale della propagazione all’indietro rispetto a PyTorch autograd è stato di 8,96×10-7.
La scheda del modello riporta anche una verifica su tutti i 110 tensori dei parametri per un batch di TinyStories: l’errore relativo L2 rispetto ad autograd su CPU in fp32 era dello 0,96% alla mediana e del 2,21% nel caso peggiore. Un controllo su CPU in bf16 ha prodotto errori più elevati: 1,67% alla mediana e 3,42% nel caso peggiore. Queste misure indicano una concordanza numerica per i gradienti verificati; non chiariscono come il sistema si comporti passando a più chip o ad addestramenti su scala maggiore.
I pesi sono pubblici; il metodo di addestramento no
VIDRAFT ha pubblicato i pesi del modello, la scheda del modello e i materiali di confronto su Hugging Face, ma afferma che la tecnica di addestramento principale è oggetto di una domanda di brevetto e che il codice di addestramento non è stato reso disponibile. L’azienda prevede di descrivere il metodo in un futuro articolo scientifico. I team esterni possono quindi esaminare il modello e i risultati riportati, ma non riprodurre l’infrastruttura di addestramento a partire dai materiali pubblicati.
Il modello in sé dimostra che l’addestramento può essere eseguito, non che abbia ampie capacità linguistiche: il suo tokenizzatore a livello di carattere e i dati di TinyStories sono pensati per produrre brevi racconti in inglese. Resta da verificare se il comportamento dei gradienti e la velocità di elaborazione si confermino in un confronto controllato su più chip e poi su modelli più grandi e carichi di lavoro meno circoscritti.