Longtail-SWE: compiti SWE di alta qualità per linguaggi poco rappresentati

Abstract degli autori

I benchmark impegnativi a livello di repository restano limitati in molti ecosistemi di linguaggi di programmazione, dove filtrare i pochi candidati con descrizioni ambigue o test difettosi può portare a scartare problemi di ingegneria di valore. Presentiamo Longtail-SWE, un benchmark composto da 202 task di risoluzione di issue in 13 linguaggi poco rappresentati nei benchmark esistenti a livello di repository: Clojure, Dart, Elixir, Erlang, F#, Haskell, Julia, Kotlin, Lua, OCaml, R, Scala e Swift. La sua realizzazione si basa su una pipeline solver--judge--repairer: un solver affronta ciascun task candidato e un judge esamina il task insieme alla traiettoria del solver e ai risultati dei test, per orientare le revisioni dei test e delle descrizioni dei task. Le revisioni mirano a correggere i test che respingono implementazioni alternative valide o accettano soluzioni errate, mantenendo al contempo task impegnativi e rispettandone i requisiti previsti. Valutiamo nove configurazioni di modelli, compresi modelli di frontiera, e analizziamo le prestazioni nella risoluzione dei task, la coerenza tra tentativi ripetuti e l’uso delle risorse. Rendiamo disponibili tutte le istanze del benchmark, gli ambienti eseguibili, gli strumenti completi per la realizzazione e la valutazione e le traiettorie degli agenti, oltre a un insieme aggiuntivo di task più semplici per favorire la valutazione di modelli più piccoli.