The Pulse
NVIDIA presenta Dory, un modello da 4 miliardi di parametri con profondità di inferenza regolabile
Dory1.0-4B di NVIDIA permette agli sviluppatori di regolare la profondità di inferenza eseguendo da una a quattro volte un blocco condiviso di livelli, scambiando capacità di calcolo con accuratezza. Nei benchmark, i risultati migliorano in
AI.info Team · Scritto con l’IA ·
Dory1.0-4B di NVIDIA offre agli sviluppatori una scelta: dedicare più capacità di calcolo all’inferenza di una risposta senza caricare un modello più grande, oppure limitarsi a un solo passaggio per ridurre il calcolo per token. La tabella dei benchmark pubblicata dall’azienda mostra che il compromesso non è uniforme. Su SWE-bench Verified, il punteggio di Dory sale da 50,3 con un ciclo a 61,8 con quattro; su GPQA Diamond, passa da 69,19 a 72,41 con due cicli, per poi scendere a 72,16 con quattro.
NVIDIA ha datato il rilascio al 16 ottobre 2026 nella sua scheda del modello su Hugging Face. Il checkpoint ha 4 miliardi di parametri e supporta fino a 262.144 token di contesto nella configurazione BF16 usata da NVIDIA per il lancio. Invece di aumentare il numero di parametri, Dory applica ripetutamente lo stesso blocco di 20 livelli, posto tra un blocco di input di otto livelli e uno di output di otto livelli.
Un blocco condiviso determina la profondità di Dory
Il modello usa un’architettura normalized-GPT a cicli, o a ricorrenza latente, con livelli di attenzione a finestra mobile e di attenzione completa. Durante l’inferenza, gli sviluppatori possono impostare il blocco condiviso perché venga eseguito una, due, tre o quattro volte. NVIDIA consiglia di partire da due cicli: descrive un ciclo come un’opzione quando conta soprattutto ridurre il calcolo per token e quattro come un’opzione quando la maggiore accuratezza giustifica il costo, in particolare per le attività agentiche.
Secondo la scheda, il calcolo ripetuto avviene nelle rappresentazioni latenti del modello, senza richiedere risposte generate più lunghe. NVIDIA afferma che i cicli possono ridurre il numero di token di output necessari per risolvere un’attività, ma consiglia anche agli sviluppatori di valutare la latenza e il costo complessivi sui propri carichi di lavoro. I soli punteggi dei benchmark non stabiliscono se i cicli aggiuntivi rendano una particolare applicazione più veloce o meno costosa nel complesso.
I miglioramenti nella programmazione si accompagnano a punteggi disomogenei
Il miglioramento più netto nella tabella di NVIDIA riguarda i benchmark di programmazione e quelli agentici. Il punteggio di Dory su SWE-bench Verified sale da 50,3 con un ciclo a 59,5 con due e a 61,8 con quattro. Con quattro cicli supera il 54,7 riportato per Qwen3.5-4B e il 61,0 per Qwen3.5-9B.
Altri risultati ridimensionano il confronto. Su GPQA Diamond, il punteggio di Dory con quattro cicli, pari a 72,16, è inferiore a quelli riportati per Qwen3.5-4B e Qwen3.5-9B; su Humanity’s Last Exam il modello ottiene 10,43 con quattro cicli, contro 11,31 di Qwen3.5-4B. NVIDIA afferma di aver misurato l’accuratezza usando lo stesso sistema di valutazione, ma segnala che le sue stime per Artificial Analysis v4.3.2 sono risultati interni che potrebbero differire dai punteggi ufficiali.
Un’opzione per la cache limita la crescita dell’uso di memoria
I cicli possono aumentare l’uso di memoria se il runtime conserva una cache chiave-valore separata per ogni passaggio attraverso il blocco condiviso. La scheda di Dory descrive una modalità di caching dell’ultimo ciclo che conserva invece la cache del passaggio finale, mantenendo lo spazio occupato dalla cache pari a quello di un solo ciclo indipendentemente dal numero di cicli. Questa modalità rinuncia a conservare le informazioni dei cicli intermedi per ridurre l’uso della cache, lasciando potenzialmente più memoria disponibile per contesti più lunghi o richieste simultanee.
Il modello è disponibile nei formati BF16, MXFP8, NVFP4 e Q5_K_M GGUF. Il download GGUF è un’esportazione quantizzata di circa 3,67 GB. La guida alla configurazione di NVIDIA precisa che i risultati dei benchmark si riferiscono a BF16, non al file GGUF scaricabile. La stessa guida indica inoltre che il supporto in llama.cpp è ancora in attesa di essere incluso in una versione rilasciata e, nel frattempo, indirizza gli utenti a una build che supporta Dory.
La prossima verifica riguarda le prestazioni sui carichi di lavoro
Il punto di forza di Dory è la configurabilità: lo stesso checkpoint 4B può dedicare quantità diverse di calcolo a un’attività, modificando l’impostazione durante l’inferenza anziché riaddestrare o sostituire il modello. I risultati pubblicati sostengono una tesi più circoscritta di un miglioramento generale delle prestazioni: più cicli migliorano alcuni punteggi nella programmazione, mentre altre misure si stabilizzano o diminuiscono, e i confronti sull’accuratezza riportati nella scheda del modello si basano sulle valutazioni di NVIDIA.
Per chi deve scegliere il numero di cicli, l’indicazione di NVIDIA è precisa: partire da due, poi confrontare latenza e costo sul carico di lavoro previsto prima di passare a uno o quattro. Il file Q5_K_M GGUF indicato nella scheda è di 3.673.288.864 byte.