JockeyBench: valutare gli agenti LLM nelle decisioni sulle corse ippiche

Abstract degli autori

Prevedere eventi ricorrenti richiede di individuare segnali predittivi in dati rumorosi e valutarne l’utilità nel corso di decisioni successive. Presentiamo JockeyBench, un benchmark e un protocollo di valutazione che studiano questo problema attraverso le corse ippiche giapponesi del passato. Il protocollo combina evidenze vincolate temporalmente, strumenti a pagamento, controlli appaiati con programma invariato e due modalità operative: eseguire un modello predittivo scritto da un LLM oppure acquisire evidenze per una nuova previsione formulata da un LLM per ciascuna corsa. La valutazione distingue la qualità delle previsioni, l’utilità netta specifica del benchmark e i rendimenti e rischi delle scommesse calcolati a posteriori secondo regole decisionali fisse. Su 28 configurazioni di modello e scaffold valutate in 324 corse, i test appaiati individuano sette miglioramenti e due peggioramenti dovuti alla revisione, dopo la correzione per test multipli. Tuttavia, ogni configurazione registra un profitto medio negativo nel regolamento delle scommesse secondo il criterio di Kelly con un limite massimo. In un confronto tra quattro modelli, la modalità basata su un programma riutilizzabile registra un profitto medio sulle scommesse più alto e costi di ricerca più bassi, benché entrambe le modalità perdano in media. Ulteriori analisi mostrano che la distorsione media delle probabilità si inverte nelle scommesse selezionate e che le singole esecuzioni redditizie possono dipendere da rendimenti concentrati. Questi risultati indicano l’importanza di valutare separatamente la capacità predittiva, l’adattamento, l’uso delle risorse e il valore delle decisioni quando si esaminano agenti destinati a prevedere eventi ricorrenti.