The Pulse
GitHub apre ReviewBench per valutare gli agenti di IA che revisionano il codice
GitHub ha lanciato ReviewBench il 5 ottobre 2026 come benchmark aperto per gli agenti di IA che revisionano il codice. Le sue 219 pull request, le segnalazioni etichettate e il processo di valutazione condiviso permettono ai team di confron
AI.info Team · Scritto con l’IA ·
«Abbiamo creato ReviewBench, un nuovo benchmark offline per la revisione del codice, per colmare questa lacuna, ed è disponibile da oggi».
Michelle Zhou e Alejandro Carderera de Diego, GitHub Blog, 5 ottobre 2026
GitHub punta a colmare la lacuna nella valutazione della qualità delle revisioni
GitHub ha annunciato ReviewBench il 5 ottobre 2026, offrendo agli sviluppatori un metodo condiviso per valutare i sistemi di IA che revisionano le pull request. Il benchmark aperto abbina modifiche al codice tratte da casi reali a un insieme di segnalazioni di riferimento, poi misura se un agente individua problemi utili da segnalare senza generare falsi allarmi. GitHub afferma di aver creato il benchmark per fornire ai team un indicatore offline più uniforme prima di condurre esperimenti in produzione.
Il lancio comprende il dataset, la metodologia di valutazione e gli strumenti con cui i team possono testare i propri agenti. Gli agenti possono essere eseguiti in locale per la messa a punto privata oppure registrati tramite il sito web di ReviewBench per presentare un risultato ufficiale. GitHub afferma che il progetto aiuta anche il team che si occupa della revisione del codice con Copilot a valutare le modifiche prima di testarle con gli utenti.
219 pull request, comprese modifiche più ampie
ReviewBench si basa su un’analisi di 103,9 milioni di pull request su GitHub. Il corpus completo contiene 219 pull request pubbliche provenienti da 187 repository e relative a 19 linguaggi di programmazione. Secondo GitHub, la distribuzione dei linguaggi e delle dimensioni dei repository rispecchia quella della piattaforma nel suo complesso, mentre il benchmark attribuisce deliberatamente più peso alle pull request di dimensioni medie, ancora esaminabili, e alle modifiche più ampie, anziché lasciare che prevalgano gli interventi minimi.
Per ogni pull request è disponibile un insieme di potenziali segnalazioni provenienti da più fonti: revisioni umane, commit successivi degli autori, strumenti deterministici e modelli linguistici di frontiera. Il benchmark elimina le segnalazioni sovrapposte e applica criteri condivisi, considerando valida una segnalazione solo se il problema è reale, pertinente e non banale. Le segnalazioni ricevono inoltre etichette relative alla gravità e alla categoria, che consentono ai team di esaminare le prestazioni in ambiti quali sicurezza, correttezza, affidabilità e test.
Due gruppi di metriche tengono conto delle segnalazioni mancanti
ReviewBench riporta precision e recall calcolate rispetto alle segnalazioni di riferimento pubblicate. Utilizza anche precision e recall aumentate: un valutatore giudica le segnalazioni di un agente che non trovano corrispondenza nel riferimento, così l’agente può ottenere credito per aver individuato un problema reale assente da quell’insieme. GitHub usa la recall rispetto alle segnalazioni di riferimento come principale misura di confronto tra sistemi, perché la recall aumentata può crescere man mano che un agente scopre ulteriori problemi.
GitHub riferisce che ingegneri senior non coinvolti nella creazione del dataset hanno rietichettato in modo indipendente le segnalazioni di riferimento del benchmark, concordando nel 96,6% dei casi con le valutazioni che le classificavano come problemi reali o falsi positivi. Questa verifica dell’accordo riguarda la qualità delle etichette, ma non fa del benchmark una misura completa di quanto un agente sarà utile all’interno di uno specifico team di sviluppo.
Le valutazioni condividono un sistema di giudizio, non un modello
I team possono prima eseguire un agente su un set di test di 25 pull request, poi sottoporlo a tre sessioni ufficiali su tutte le 219 pull request. I partecipanti forniscono il proprio agente e l’accesso al modello; GitHub mette a disposizione il sistema di giudizio per la valutazione finale. Il repository pubblica le specifiche che gli agenti devono rispettare, il corpus, le segnalazioni e i materiali per il calcolo dei punteggi, ed è distribuito con licenza MIT.
GitHub afferma che i risultati restano privati finché un responsabile della manutenzione del progetto non li esamina e approva. Il suo blog descrive anche esperimenti interni in cui le variazioni dei risultati del benchmark offline rispecchiavano la direzione dei successivi test in produzione, sottolineando però che gli esperimenti online restano la misura definitiva dell’impatto sugli utenti. ReviewBench offre quindi un test comune e un insieme trasparente di etichette, non la promessa che l’agente con il punteggio più alto si adatti alle preferenze di revisione di ogni team.