The Pulse
NVIDIA presenta cinque modelli Nemotron 3.5 per il recupero delle informazioni
NVIDIA ha presentato cinque modelli Nemotron 3.5 per cercare testi e immagini, riordinare i risultati in base alla pertinenza ed estrarre la struttura dei documenti. Secondo l’azienda, i modelli riducono i costi di ricerca degli agenti e so
AI.info Team · Scritto con l’IA · verificato ·
Il 21 ottobre NVIDIA ha annunciato cinque modelli Nemotron 3.5 per il recupero delle informazioni, aggiungendo strumenti per cercare tra testi e immagini, classificare i risultati candidati e trasformare le pagine dei documenti in dati strutturati. Il lancio affronta un collo di bottiglia specifico degli agenti di IA: quando una ricerca restituisce elementi poco utili, un agente può aver bisogno di più interrogazioni e di più token del modello per completare un compito. NVIDIA afferma che i nuovi modelli sono disponibili con pesi aperti e possono essere usati a fini commerciali.
Cinque modelli per tre compiti nel recupero delle informazioni
La gamma comprende Nemotron 3.5 Embed 8B BF16, due versioni 1B di Embed in BF16 e NVFP4, Nemotron 3.5 Rerank 8B BF16 e Nemotron 3.5 Parse, un modello da 631 milioni di parametri per l’elaborazione dei documenti. Embed cerca nei testi e nei contenuti visivi, come tabelle, grafici, infografiche, schede tecniche e schemi. Rerank assegna un punteggio ai risultati candidati restituiti dalla ricerca in base a una query, mentre Parse estrae testo e struttura dei documenti per l’indicizzazione e il successivo recupero.
Secondo NVIDIA, i modelli Embed sono stati valutati per il recupero di testi in 34 lingue e per il recupero di contenuti visivi in 18 lingue su MIRACL Vision. Anche Rerank 8B gestisce input testuali e immagini, consentendo a un sistema di ricerca di classificare l’immagine di una pagina insieme ai brani di testo. Il modello Embed più piccolo offre un’opzione che richiede meno risorse; la sua versione NVFP4 quantizza sia l’encoder testuale sia quello delle immagini.
«Insieme, questi modelli all’avanguardia portano il recupero multimodale delle informazioni, la classificazione per pertinenza e l’elaborazione dei documenti nei flussi di lavoro degli agenti aziendali.»
Yauhen Babakhin, Ryan Chesler, Jiarui Cai, Sean Sodha e Isabel Hulseman, NVIDIA
NVIDIA segnala miglioramenti nei benchmark per il recupero delle informazioni
Su ViDoRe v3.1, NVIDIA riferisce che Embed 8B ha ottenuto un punteggio di 61,17 nDCG@10, collocandosi al primo posto tra i modelli di recupero denso nella classifica al 20 ottobre. Il modello 1B BF16 ha ottenuto 58,38 punti, pari, secondo l’azienda, al 95,4% del punteggio del modello 8B. Con input combinati di immagini e testo, Rerank 8B ha ottenuto 60,49 nDCG@10 su ViDoRe v3.1, contro 59,17 di Qwen3-VL-Reranker-8B.
NVIDIA ha testato i modelli anche in un flusso di lavoro con agenti in cui il modello linguistico, l’insieme dei compiti, il corpus e la policy di esecuzione restavano invariati, mentre cambiava la configurazione del recupero delle informazioni. L’aggiunta di Rerank ha ridotto i costi dei token per l’inferenza degli agenti per query di circa il 14% con Embed 8B e del 13% con Embed 1B, migliorando al contempo l’accuratezza del recupero in entrambe le configurazioni. Con Embed 8B, NVIDIA afferma che il suo modello Rerank ha ottenuto un punteggio nDCG@10 superiore di circa 0,9 punti a quello del modello Rerank di Qwen, a un costo in token simile.
NVFP4 e NIM puntano a ridurre i costi di distribuzione
Su un NVIDIA GB200, Embed 1B NVFP4 ha elaborato 128,8 documenti al secondo, contro i 101,3 della versione BF16, mantenendo il 99,85% della sua accuratezza nel recupero delle informazioni su ViDoRe v3 con immagini e testo combinati. I dati descrivono il test di NVIDIA, non una garanzia generale di prestazioni su hardware o carichi di lavoro diversi. Il lancio offre ai team la scelta tra un modello quantizzato più piccolo e un’alternativa a maggiore precisione.
NVIDIA ha inoltre confrontato il proprio stack di distribuzione NIM con una configurazione vLLM su un RTX PRO 6000 Blackwell Server Edition. L’azienda ha registrato 6.031 richieste di query al secondo per NIM contro 2.099 per vLLM, descrivendo come comparabile la velocità di elaborazione dei brani. Il risultato riguarda la configurazione di distribuzione ed è distinto dai punteggi sulla qualità del recupero delle informazioni.
Parse porta le pagine scansionate nella pipeline di ricerca
Parse è progettato per PDF e immagini in cui un livello di testo può omettere informazioni, alterare l’ordine di lettura o separare i valori delle tabelle dalle rispettive intestazioni. Il modello identifica gli elementi del documento e la loro posizione, quindi restituisce contenuti strutturati come Markdown, tabelle HTML e altri blocchi. NVIDIA riporta un punteggio ParseBench di 75,20 e una velocità di elaborazione di 10,5 pagine al secondo su una H100; al 20 ottobre era al primo posto tra i modelli con meno di un miliardo di parametri.
Gli sviluppatori possono ottenere modelli, pesi, dati e ricette di addestramento tramite Hugging Face, oppure distribuire i modelli tramite NVIDIA NIM e i partner di inferenza elencati. I risultati dei benchmark e le valutazioni dei partner di NVIDIA sono riportati dall’azienda; l’annuncio non fornisce verifiche indipendenti di questi confronti. I cinque modelli coprono la pipeline di recupero delle informazioni, dalla pagina scansionata a un insieme di elementi ordinati per pertinenza e pronti per un agente.