HSPR: ricostruire i punteggi dei benchmark per agenti software tramite inferenza a posteriori gerarchica

Abstract degli autori

Valutare gli agenti software su un intero benchmark è costoso. Un piccolo sottoinsieme di compiti può preservare la classifica degli agenti, ma produrre punteggi imprecisi. Le risposte storiche forniscono informazioni utili, ma compiti con risposte identiche da parte degli agenti sorgente possono avere esiti diversi per un nuovo agente bersaglio. Presentiamo Hierarchical Score Posterior Recovery (HSPR), che combina fattori di risposta stimati sugli agenti sorgente con tassi di successo dei gruppi soggetti a incertezza. Gli esiti osservati dell’agente bersaglio aggiornano le distribuzioni a posteriori del suo stato latente e dei tassi dei gruppi; una procedura di acquisizione guidata da tali distribuzioni seleziona i compiti successivi. Il criterio basato sul punteggio equivale alla riduzione attesa, dopo un singolo passo, della varianza a posteriori del punteggio complessivo. I successi osservati e i conteggi predittivi a posteriori per i compiti non interrogati producono una distribuzione a posteriori del punteggio complessivo. La stima finale ne usa la mediana, con una calibrazione selezionata in base agli agenti sorgente. Con un budget pari al 10% dei compiti su quattro raccolte di compiti della famiglia SWE-bench, HSPR ottiene l’errore assoluto medio (MAE) più basso in tre raccolte e l’errore assoluto massimo (MaxErr) più basso in tutte e quattro, tra i metodi confrontati. Eliminare l’incertezza sui gruppi o sostituire le interrogazioni adattive aumenta il MAE macro nei rispettivi esperimenti di controllo. Il MAE macro diminuisce con budget compresi tra il 5% e il 20%.