The Pulse
Secondo Epoch, i modelli a pesi aperti sono indietro di 6–7 mesi nella cybersicurezza
Secondo una stima di Epoch AI, Z.ai’s GLM-5.3 è indietro di sei-sette mesi rispetto alla frontiera dei modelli a pesi chiusi nel suo Cyber ECI, pur ottenendo un punteggio superiore a GPT-5.4. La stima si basa su un numero limitato di risult
AI.info Team · Scritto con l’IA ·
GLM-5.3 di Z.ai ha superato alcuni modelli a pesi chiusi precedenti nei test di cybersicurezza, ma secondo una stima di Epoch AI resta indietro di sei-sette mesi rispetto alla frontiera dei modelli a pesi chiusi. Il confronto, pubblicato il 16 ottobre, colloca il modello a pesi aperti sopra GPT-5.4 di OpenAI, ma ancora sotto sistemi a pesi chiusi con punteggi più alti, rilasciati ad aprile. La stima di Epoch offre un quadro della rapidità con cui le capacità di cybersicurezza diventano disponibili in modelli i cui pesi possono essere scaricati, e dell’incertezza che accompagna il confronto.
GLM-5.3 supera un modello a pesi chiusi nel benchmark
Epoch assegna a GLM-5.3 un punteggio Cyber ECI di 160, il più alto tra i modelli a pesi aperti inclusi nell’analisi. Il punteggio supera quello di GPT-5.4, rilasciato il 5 marzo, ma resta inferiore a quelli di Claude Mythos Preview e GPT-5.5, entrambi rilasciati ad aprile. Sulla base di queste date di rilascio, Epoch colloca le capacità di cybersicurezza di GLM-5.3 all’incirca al livello raggiunto dalla frontiera dei modelli a pesi chiusi sei-sette mesi prima.
«Questo colloca la frontiera dei modelli aperti nella cybersicurezza all’incirca dove si trovava quella dei modelli chiusi 6–7 mesi fa».
Jaeho Lee e Alexander Barry, autori dell’analisi di Epoch
Il confronto riguarda i punteggi di un indice composito: non significa che i modelli abbiano prestazioni identiche in ogni attività di cybersicurezza.
Che cosa misura il Cyber ECI di Epoch
Epoch descrive il suo Epoch Capabilities Index come una scala che combina i risultati di più benchmark, così da consentire il confronto tra modelli anche quando i singoli test diventano meno capaci di distinguerli. Il Cyber ECI applica questo approccio ai benchmark di cybersicurezza, stimando la posizione di un modello in base ai suoi risultati in quest’ambito. Epoch afferma che l’aggiornamento di ottobre copriva 76 modelli e 35 benchmark di cybersicurezza, per un totale di 324 risultati relativi a coppie modello-benchmark.
I dati provengono da valutazioni dello UK AI Security Institute, dello US Center for AI Standards and Innovation (CAISI), della società di valutazioni di cybersicurezza Irregular, degli sviluppatori dei modelli e di altre fonti pubbliche. Epoch ha incluso i modelli con risultati in almeno due benchmark di cybersicurezza. L’elenco delle pubblicazioni di Epoch indica Lee e Barry come autori dell’approfondimento sui dati del 16 ottobre, mentre la documentazione dell’indice spiega l’approccio più generale dell’ECI.
Tre risultati sostengono gran parte della stima
Il punteggio di GLM-5.3 si basa su tre risultati di benchmark, tutti provenienti da una valutazione condotta dal CAISI a settembre; Epoch afferma che sono gli unici risultati di cybersicurezza di cui dispone per il modello. Questa base di dati ridotta rende meno solida la stima del divario rispetto a un confronto sostenuto da molti test indipendenti. L’analisi di Epoch rileva inoltre che il CAISI non ha identificato i modelli statunitensi sottoposti ai test, perciò Epoch ha attribuito alcuni risultati ai modelli che riteneva più probabilmente all’avanguardia in quel momento.
I ricercatori segnalano ulteriori limiti: alcuni punteggi dei modelli si basano su pochi benchmark e la ricalibrazione di ottobre effettuata da Epoch ha modificato diversi punteggi nella fascia alta. I valori aggiornati del Cyber ECI non vanno quindi considerati direttamente confrontabili con quelli riportati nelle precedenti pubblicazioni di Epoch. La stima va letta come un confronto temporale approssimativo basato sui risultati pubblici disponibili, non come una previsione precisa di quando i modelli aperti raggiungeranno quelli chiusi.
Un sorpasso circoscritto, non una classifica generale della cybersicurezza
Il risultato di GLM-5.3 mostra che un modello a pesi aperti può superare, nella misura composita di Epoch per la cybersicurezza, un modello a pesi chiusi rilasciato mesi prima. Non dimostra che i modelli aperti eguaglino oggi i più recenti sistemi a pesi chiusi, né che il divario di sei-sette mesi valga per ogni tipo di attività di sicurezza. Nel confronto attuale di Epoch, i modelli a pesi chiusi di aprile restano sopra GLM-5.3, mentre il numero limitato di test lascia aperta la possibilità che la distanza misurata cambi con la disponibilità di nuove valutazioni.