The Pulse
CWE-bench v2: 20 problemi di sicurezza restano irrisolti
CWE-bench v2 di Collinear AI segnala che 20 dei 250 problemi di sicurezza restano irrisolti da tutti i modelli testati. Claude Opus 5.5 è in testa alla classifica, mentre il benchmark misura la capacità degli agenti di esaminare il codice d
AI.info Team · Scritto con l’IA · verificato ·
L’aggiornamento del 2 novembre di Collinear AI a CWE-bench v2 segnala che 20 problemi di sicurezza restano irrisolti da tutti i modelli di programmazione testati. Cinque si trovano nel set pubblico e 15 in quello riservato. I risultati misurano la capacità degli agenti di individuare e correggere vulnerabilità nel codice di progetti reali.
«A un attaccante basta sfruttare una sola vulnerabilità; chi difende deve individuarle e correggerle tutte.»
— Scrivono gli autori del paper su CWE-bench
Claude Opus 5.5 è in testa, ma lascia irrisolti 52 problemi
Claude Opus 5.5 è primo tra 11 modelli, con un pass@1 del 67,1% e un pass@4 del 79,2% nel benchmark da 250 problemi. Secondo il sito, il modello in testa fallisce tutti i tentativi su 52 problemi. Segue Muse Wonder con un pass@1 del 66,1%, mentre Gemini 4 Argon registra il 65,0%.
La classifica riporta i risultati al 2 novembre 2026 e indica il costo medio per rollout accanto ai punteggi. Claude Opus 5.5 costa in media 1,85 dollari per rollout; DeepSeek-V4.1-Flash (1017) costa in media 0,04 dollari e raggiunge il 57,6% al pass@1. Ogni modello riceve quattro rollout per problema con un livello di ragionamento alto, con un limite di un’ora per ogni esecuzione.
Gli agenti devono esaminare il codice senza un elenco delle falle
CWE-bench fornisce a un agente una copia di un repository open source reale e gli chiede di esaminare il codice e correggere ciò che trova. Il compito non rivela quali siano le vulnerabilità né quante ce ne siano. Gli agenti vengono testati sulla difesa: il benchmark non chiede loro di creare exploit.
Un verificatore deterministico controlla che l’exploit sia bloccato e che il comportamento preesistente continui a funzionare; il benchmark non assegna punteggi parziali. Collinear AI afferma che ogni problema ha superato sette controlli ed è stato sottoposto a una revisione manuale. Il set pubblico contiene 100 problemi relativi a 91 CWE, mentre altri 150 restano riservati; il benchmark nel suo complesso copre 185 CWE distinte.
Un decoder Rust mostra come una correzione plausibile possa non bastare
Un esempio chiede a un agente di rafforzare la sicurezza di blurhash-rs, una libreria open source in Rust che decodifica stringhe BlurHash in pixel. Il problema è legato a CVE-2023-42447. Un input malformato potrebbe mandare il decoder in panic, quindi una correzione valida deve restituire un errore tipizzato per gli input non validi, preservando l’output per gli hash validi.
Il verificatore testa otto input in tre gruppi: limiti dei caratteri, limiti dei valori decodificati e comportamento normale. Questa struttura controlla due distinti percorsi di errore: caratteri multibyte inattesi e valori che vengono analizzati correttamente ma escono da un intervallo sicuro di ricerca. Una patch che rifiuta solo i caratteri insoliti fallisce comunque nei casi numerici; il benchmark richiede entrambi i controlli e un output invariato per gli input validi.
Il set pubblico è aperto; quello di valutazione no
Chiunque può eseguire i problemi pubblici con il valutatore e l’harness aperti, mentre Collinear AI mantiene chiusi quelli riservati per monitorare le prestazioni su casi che i modelli non hanno visto. L’azienda afferma che il suo corpus di addestramento separato contiene più di 4.000 problemi e che quelli di valutazione non compaiono mai nei dati di addestramento forniti.
La roadmap del sito prevede di aggiornare regolarmente il set riservato con vulnerabilità appena divulgate e di aggiungere audit multi-turno. Questi permetterebbero a un agente di indagare, porre domande e perfezionare una correzione nell’arco di più turni. Per ora, la classifica pubblicata si basa su quattro rollout per modello, ciascuno con un limite di un’ora, per ognuno dei 250 problemi.