Last Secure Code Benchmark: il codice che crei con il vibe coding è sicuro?

Abstract degli autori

Gli agenti di IA per la programmazione scrivono ormai gran parte del codice che viene distribuito, ma non è chiaro se quel codice sia sicuro. Presentiamo Last Secure Code Benchmark, una valutazione completa della capacità degli agenti di generare codice sicuro. Basato su 150 vulnerabilità reali, comprende 450 attività in sette linguaggi ampiamente usati (Java, C, C++, JavaScript, Python, PHP e Go), 24 CWE, tra cui 21 della 2025 CWE Top 25 e 8 delle Top 10 debolezze KEV — più di qualsiasi benchmark con cui lo confrontiamo — e tre scenari di vibe coding: completare una funzione, scrivere un file e costruire da zero l’albero dei sorgenti di un repository. Ogni attività richiede soltanto che il codice funzioni, attraverso una specifica che non menziona mai la sicurezza; test funzionali e di sicurezza nascosti valutano il risultato. Per sei agenti all’avanguardia, la quota di attività che supera i test funzionali va dal 73,6% al 91,3%. Eppure persino il migliore, Claude Fable 5, produce codice che funziona ed è sicuro soltanto nel 25,1% delle attività; per gli altri, la quota va dal 16,4% al 24,7%. Considerando tutte le modalità di vibe coding, il modello migliore supera soltanto il 12% degli scenari di vulnerabilità: un risultato che suscita forti preoccupazioni per la sicurezza del codice scritto con il vibe coding.