The Pulse

Nemotron 3.5 Super VL di NVIDIA, da 120 miliardi di parametri, è disponibile su SageMaker

AWS ha reso disponibile su SageMaker JumpStart Nemotron 3.5 Super VL, il modello visione-linguaggio di NVIDIA. Il servizio offre una versione NVFP4 per l’inferenza ottimizzata e pesi di riferimento BF16, con istanze supportate e prestazioni

AI.info Team · Scritto con l’IA · verificato · 2026-11-09

Un modello visione-linguaggio arriva su JumpStart

AWS afferma che Nemotron 3.5 Super VL di NVIDIA è disponibile su SageMaker JumpStart. Il modello riceve in input immagini, video e testo e produce testo; secondo AWS, può essere distribuito tramite SageMaker Studio o SageMaker Python SDK.

Il modello combina un’architettura linguistica di base da 120 miliardi di parametri, di cui 12 miliardi attivi, con un codificatore visivo C-RADIO. L’architettura di base ha 88 livelli, tra cui livelli Mamba-2 e MoE, con 512 esperti instradati e 22 attivi per token, oltre a otto livelli di attenzione. NVIDIA descrive il modello come destinato all’analisi intelligente dei documenti, alla comprensione delle interfacce grafiche per gli agenti che usano il computer, alla risposta a domande sui video e alle applicazioni agentiche multimodali.

Due versioni, hardware diverso

JumpStart offre due versioni: NVFP4, destinata all’inferenza ottimizzata, e i pesi di riferimento BF16 per la personalizzazione. AWS indica una dimensione di circa 75 GB per il checkpoint NVFP4 e di circa 249 GB per quello BF16. La versione NVFP4 funziona su istanze G7, mentre BF16 è supportata su ml.p5en.48xlarge.

Il modello supporta finestre di contesto fino a 1 milione di token, anche se le configurazioni di serving di JumpStart utilizzano tra 520 e 15.600 token. Per le attività sui documenti, AWS afferma che l’immagine di una pagina da 1536 x 1024 usa circa 1536 token di contesto; la configurazione di serving accetta un’immagine e un video per richiesta. L’endpoint accetta immagini anziché file PDF grezzi, quindi gli utenti devono convertire le pagine PDF in immagini prima di inviarle.

AWS riferisce che NVFP4 ha eguagliato BF16 su MMLongBench-Doc, con un punteggio di 62,82 per entrambi, ed è rimasto entro circa un punto sugli altri benchmark multimodali elencati. NVFP4 ha ottenuto 68,34 su OCRBench v2, contro 68,12 per BF16; su OSWorld-Verified, i punteggi sono stati rispettivamente 52,30 e 51,14.

Le prestazioni dipendono dalla configurazione

Nel test di inferenza di AWS, NVFP4 ha raggiunto un throughput medio in output di 63,07 token al secondo per richiesta su ml.g7.24xlarge e di 64,01 su ml.g7.48xlarge. La versione BF16 su ml.p5en.48xlarge ha prodotto 140,85 token in output al secondo per richiesta, con un tempo medio al primo token di 0,53 secondi. AWS avverte che questi risultati non costituiscono un confronto diretto tra le precisioni BF16 e NVFP4, perché le varianti sono state eseguite su sistemi GPU e configurazioni diversi.

Il test ha utilizzato 250 token in input, 1500 token in output e cinque richieste di streaming simultanee. AWS ha misurato un tempo al primo token di 12,62 secondi su ml.g7.24xlarge con il profilo summarize, che utilizzava 10.000 token in input. La società afferma che gli utenti possono effettuare la distribuzione anche da Hugging Face, oltre che tramite gli strumenti di AWS; la distribuzione richiede circa 10 minuti su ml.g7.24xlarge e i nuovi account partono con quote di servizio G7 pari a zero.