KaliBench: un benchmark dettagliato per l’uso degli strumenti di cybersicurezza su Kali Linux con ricompense verificabili senza esecuzione

Abstract degli autori

I modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati nei flussi di lavoro della cybersicurezza, dove ci si aspetta che traducano le intenzioni degli analisti in invocazioni di strumenti. Le valutazioni esistenti, tuttavia, si concentrano su verifiche delle conoscenze o su attività agentiche complete e non misurano direttamente la capacità degli LLM di generare comandi eseguibili per strumenti di cybersicurezza reali. È una lacuna importante, perché le operazioni di cybersicurezza si basano su interfacce a riga di comando (CLI) rigorose: piccoli errori di sintassi, associazioni errate tra flag e valori o un ordine sbagliato degli argomenti possono impedire l’esecuzione. Presentiamo KaliBench, un benchmark dettagliato e un dataset per la traduzione dal linguaggio naturale ai comandi CLI su Kali Linux, composto da 8.504 coppie richiesta-comando che coprono 1.642 strumenti, 23 dimensioni di capacità e 5 fasi della sicurezza. KaliBench è costruito mediante una pipeline basata su documenti scritti, con una normalizzazione canonica deterministica e una valutazione che tiene conto degli alias: ciò consente di valutare in modo preciso e riproducibile la scelta degli strumenti e la costruzione degli argomenti. Per garantire sia la correttezza semantica sia l’effettiva eseguibilità, sviluppiamo una pipeline di verifica in più fasi che combina la validazione tramite LLM, l’esecuzione in un terminale isolato e il perfezionamento con intervento umano. Grazie a questi segnali dettagliati e deterministici, KaliBench permette inoltre di ottenere ricompense verificabili per l’addestramento senza esecuzione. In tre modalità di valutazione e 24 configurazioni di modelli a pesi aperti generalisti e specializzati nella sicurezza, nessun modello a pesi aperti supera il 42% di accuratezza sul comando esatto nello scenario senza restrizioni. Il risultato evidenzia quanto sia difficile usare con precisione gli strumenti di cybersicurezza tramite CLI senza indicazioni esplicite sugli strumenti. Mostriamo inoltre che il fine-tuning supervisionato e l’apprendimento per rinforzo con ricompense verificabili derivate da KaliBench migliorano significativamente un modello 8B, portandolo a prestazioni paragonabili a quelle di un modello MoE 685B.