FrontierCS 2: un benchmark per la ricerca e lo sviluppo in informatica

Abstract degli autori

Gli agenti basati su LLM possono contribuire alla ricerca e allo sviluppo d’avanguardia in informatica? Presentiamo FrontierCS 2, un benchmark composto da 48 compiti aperti. Prendiamo un articolo e il codice pubblicato dai suoi autori, poi eliminiamo il contributo dell’articolo. Il codice eliminato diventa il riferimento umano che fissa la soglia da raggiungere. I precedenti benchmark con compiti aperti forniscono a ciascun agente la descrizione di un problema e valutano un unico programma al termine dell’esecuzione. FrontierCS 2 colloca invece l’agente in un ambiente di ricerca. L’agente parte da un repository funzionante e può inviare una patch in qualsiasi momento. Per ogni patch, un valutatore restituisce un punteggio sulla suite di sviluppo, ma mantiene riservati il sistema di valutazione, la suite finale tenuta da parte e il riferimento. Valuta poi la versione finale su quella suite rispetto al riferimento. I compiti coprono 13 ambiti, dai sistemi di apprendimento automatico e dal calcolo ad alte prestazioni ai database, alla sicurezza e alla robotica. Oltre a questi 48 compiti, FrontierCS 2 comprende una serie privata di oltre 100 compiti, che saranno annunciati in futuro. Valutiamo 12 agenti. Il migliore è Claude Opus 5.5, che supera la prova nel 58% delle sue esecuzioni. Per 16 compiti, nessuna esecuzione supera la prova. Un punteggio più alto non equivale a superarla: la maggior parte delle esecuzioni che battono il riferimento nel punteggio finale complessivo resta comunque al di sotto della soglia per qualche metrica o carico di lavoro. Su una scala di capacità comune ad agenti e compiti, il compito mediano è all’incirca difficile quanto quelli che l’agente più forte riesce a gestire.