TestPrism: ripensare la valutazione dei test oltre un’unica soluzione di riferimento

Abstract degli autori

Gli agenti di programmazione basati su modelli linguistici di grandi dimensioni (LLM) hanno fatto progredire la generazione di test per diversi compiti di programmazione. Tuttavia, la pratica comune di valutare i test rispetto a un’unica soluzione di riferimento trascura altre implementazioni valide e può sopravvalutare la qualità dei test. Presentiamo TestPrism, che comprende 300 compiti di test provenienti da 17 fonti e 3.000 implementazioni candidate, ripartite equamente tra soluzioni valide e non valide. La sua metrica principale, Joint Success Function, richiede che i test generati falliscano sul programma nel suo stato iniziale, accettino ogni candidata valida e respingano ogni candidata non valida. Per quattordici configurazioni di riferimento degli agenti di programmazione, Joint Success Function raggiunge solo il 28,00%, mentre il tasso di successo rispetto a un’unica soluzione di riferimento arriva al 59,67%. La nostra analisi mette in luce comportamenti non rilevati, asserzioni non suffragate e test costruiti in modo errato. Per affrontare questi punti deboli, presentiamo TestHelix, che combina la sintesi eterogenea di coppie di test e correzioni con la validazione incrociata tra pari e l’automiglioramento ricorsivo (RSI). Su due modelli, TestHelix migliora Joint Success Function di 8,67-9,00 punti percentuali rispetto agli harness nativi usati come termine di confronto nella valutazione di TestHelix