Quant-Arena: un benchmark per gli agenti basati su LLM nella ricerca quantitativa sul trading

Abstract degli autori

La ricerca quantitativa è un processo iterativo: un ricercatore formula un’ipotesi sul mercato, la traduce in un segnale eseguibile, la verifica sui dati storici e decide che cosa conservare. I benchmark esistenti valutano formule, codice o singole decisioni di trading, ma lasciano aperta la questione se i modelli linguistici di grandi dimensioni (LLM) siano in grado di completare l’intero processo e produrre strategie efficaci anche oltre il periodo di ricerca. Presentiamo Quant-Arena, un benchmark e una classifica pubblica per la ricerca quantitativa end-to-end su dati reali del mercato delle azioni A. Un modello costruisce feature e codice per attribuire punteggi ai titoli, riceve feedback soltanto sui dati del 2022--2023 e fissa una strategia da valutare sull’anno 2024, i cui dati restano riservati. Un sistema di valutazione basato su un conto in contanti applica vincoli e costi di trading, compreso l’impatto sul mercato stimato da un book degli ordini simulato. I punteggi dipendono soprattutto dal rendimento in eccesso effettivamente realizzato e tengono conto anche della qualità dei segnali e della varietà delle feature utilizzate dalla strategia. Valutiamo nove modelli di frontiera, tra i quali GPT-6 Astra ottiene il punteggio più alto; tuttavia, nel 2024 nessun modello supera il mercato equiponderato. Quant-Arena accetta contributi da qualsiasi modello o ambiente di esecuzione per agenti.