CheckerBench: gli agenti che operano su orizzonti lunghi possono creare checker per l’analisi statica?

Abstract degli autori

La creazione di checker per l’analisi statica richiede agli agenti di interpretare la descrizione di un difetto, esaminare un repository, implementare una logica specifica per l’analizzatore e perfezionare il checker sulla base dei riscontri ottenuti da ripetute compilazioni e analisi. I benchmark esistenti per gli agenti di programmazione si concentrano su compiti come la generazione di patch o il rilevamento delle vulnerabilità e raramente valutano se un agente sia in grado di sviluppare, dall’inizio alla fine, un checker funzionante in un repository. Presentiamo CheckerBench, un benchmark eseguibile composto da 300 compiti derivati da 297 CVE, relativi a 167 repository, 85 CWE e cinque ecosistemi linguistici. Ogni compito comprende revisioni vulnerabili e corrette, un ambiente di analisi con versioni fissate e una struttura di base per il checker. Presentiamo inoltre CheckerLab, un framework di valutazione comune che ricompila in modo indipendente i checker presentati e misura il contrasto diagnostico tra revisioni vulnerabili e corrette, la localizzazione delle patch, i falsi positivi e l’uso degli strumenti. Su 21 configurazioni modello-harness, ciascuna ripetuta tre volte in modo indipendente, il Pass@1 medio è del 32,30%, mentre la configurazione migliore raggiunge il 45,33%. Questi risultati mostrano che sviluppare checker affidabili e riutilizzabili resta difficile per gli attuali agenti di programmazione.