The Pulse
Dream pubblica i modelli di cybersicurezza MiST con un guadagno di 13,1 punti
Dream ha pubblicato due modelli di cybersicurezza MiST a pesi aperti, tra cui un modello 8B che ha ottenuto 61,7 punti contro i 48,6 del modello Qwen3 usato come riferimento. Secondo l’azienda, la media del modello 8B è salita di 13,1 punti
AI.info Team · Scritto con l’IA · verificato ·
I checkpoint finali di MiST migliorano l’accuratezza media nella cybersicurezza rispettivamente di +13,1 e +8,6 punti percentuali assoluti rispetto ai corrispondenti modelli Qwen usati come riferimento per 8B e 32B, pari a guadagni relativi del +27,0% e del +15,8%.
Oded Ovadia, Elad Ben Zaken, Elad Guttman e Orly Moreno Kadosh, autori di MiST: Mid-Training LLMs for Cybersecurity
Sono disponibili due modelli MiST
Dream ha annunciato la famiglia MiST il 19 ottobre, pubblicando MiST-8B e MiST-30B-A3B come pesi dei modelli scaricabili. La pubblicazione è accompagnata dallo studio «MiST: Mid-Training LLMs for Cybersecurity», che descrive un modello 8B e uno 32B basati su Qwen; il modello 30B-A3B pubblicato adatta invece il checkpoint Nemotron 3.5 Lightning di NVIDIA. La scheda del modello 8B identifica il checkpoint pubblicato come MiST-8B-DPO, mentre quella del 30B-A3B lo identifica come MiST-30B-A3B-SFT.
Il risultato di 13,1 punti messo in evidenza da Dream riguarda il modello 8B, non il 30B-A3B pubblicato. Sulle 13 attività di cybersicurezza della suite dell’azienda, MiST-8B-DPO ottiene una media di 61,7, contro i 48,6 di Qwen3-8B, il suo modello di base usato per il confronto. Lo studio indica un guadagno di 13,1 punti percentuali, ovvero del 27% rispetto al riferimento.
I punteggi coprono sei benchmark di cybersicurezza
La valutazione comprende 13 attività tratte da CTI-Bench, SECURE, AthenaBench, PrimeVul, MMLU-Cyber e SecEval. Dream presenta i risultati dello studio come medie di cinque esecuzioni, con le modalità di ragionamento disattivate dove disponibili. La sua tabella riporta una media non ponderata delle attività, anziché il risultato di un singolo benchmark a sé stante.
Il checkpoint finale 32B dello studio ottiene una media di 63,2, rispetto ai 54,6 di Qwen3-32B: un aumento di 8,6 punti. Questo risultato fa parte del confronto condotto nella ricerca; nell’annuncio Dream indica come modelli pubblicati i checkpoint 8B e 30B-A3B basato su Nemotron. In un confronto distinto riportato nella scheda del modello 30B-A3B, quest’ultimo ottiene 60,3 punti contro i 51,5 del suo modello di base Nemotron, una differenza di 8,8 punti. La scheda precisa che i suoi risultati e quelli del modello di base sono medie di tre esecuzioni.
I dati sintetici alimentano l’addestramento specialistico
Il metodo MiST inserisce una fase intermedia di addestramento sulla cybersicurezza tra il preaddestramento generale e il successivo instruction tuning. Dream parte da una raccolta selezionata di materiali sulla sicurezza, tra cui registri e tassonomie delle vulnerabilità, per poi ampliare il materiale di partenza con spiegazioni sintetiche, esempi di domande e risposte ed esercizi di analisi. Secondo lo studio, il corpus risultante per l’addestramento intermedio contiene circa 976 milioni di token.
Dopo l’addestramento intermedio, il team applica il fine-tuning supervisionato, o SFT, per insegnare al modello a seguire le istruzioni e a conversare. Secondo lo studio, quasi tutti i miglioramenti nella cybersicurezza sono già presenti dopo l’addestramento intermedio e l’SFT: MiST-8B-SFT ottiene una media di 62,4, leggermente superiore ai 61,7 del checkpoint DPO finale. L’ottimizzazione diretta delle preferenze usa dati sulle preferenze generali anziché specifici per la cybersicurezza, perciò gli autori non la indicano come la fonte principale dei miglioramenti nel settore.
Gli autori confrontano inoltre MiST con un modello di riferimento sottoposto a ulteriore preaddestramento su testi grezzi, costruito a partire da un corpus più ampio di testi sulla cybersicurezza. Il loro approccio MiST 8B usa meno token di addestramento, ma ottiene risultati migliori in quasi tutti i benchmark di quel confronto. I risultati indicano che la composizione e la trasformazione del materiale specialistico, non semplicemente la quantità di testo grezzo, sono una parte centrale del metodo.
I miglioramenti nei benchmark non dimostrano la sicurezza nell’impiego operativo
Dream presenta MiST come uno strumento per la ricerca, l’analisi e ulteriori adattamenti nel campo della cybersicurezza, non come un agente di sicurezza autonomo. La scheda del modello 30B-A3B afferma che i flussi di lavoro agentici e le operazioni di sicurezza in tempo reale non sono stati valutati specificamente e avverte che i risultati misurano le prestazioni nei benchmark, non la prontezza per l’impiego in contesti operativi. Raccomanda inoltre la supervisione umana e ulteriori misure di sicurezza per i sistemi costruiti sul modello.
Lo studio include una valutazione preliminare della sicurezza dei checkpoint 8B sul benchmark CyberSecEval MITRE. Riporta percentuali di risposte sicure dell’89,8% per MiST-8B-SFT e dell’85,3% per MiST-8B-DPO, contro il 75,8% di Qwen3-8B. Gli autori definiscono preliminare il test, che non dimostra come si comportino i modelli di fronte ad attacchi adattivi, su più turni o assistiti da strumenti.
MiST-8B è indicato come distribuito con licenza Apache 2.0. Anche la scheda del modello 30B-A3B indica la licenza Apache 2.0, precisando però che i materiali ereditati dal modello NVIDIA restano soggetti alla distinta licenza OpenMDW-1.1. L’offerta concreta consiste quindi in due punti di partenza scaricabili, con modelli di base e fasi di addestramento diversi, accompagnati da risultati nei benchmark: non in un’alternativa convalidata alle operazioni di sicurezza o alla verifica umana.