FinForesight: un benchmark diagnostico di backtesting per i sistemi di ricerca approfondita nella previsione finanziaria

Abstract degli autori

Prevedere gli esiti finanziari richiede di sintetizzare evidenze in evoluzione e ragionare in condizioni di incertezza, caratteristiche che rendono i sistemi di ricerca approfondita strumenti promettenti per le previsioni. Valutare le capacità previsionali è tuttavia difficile, perché i backtest storici possono premiare esiti memorizzati o informazioni recuperate dopo la data della previsione. Le previsioni in tempo reale evitano l’accesso diretto agli esiti effettivi, ma il feedback arriva solo quando gli eventi si sono conclusi. Per ottenere feedback tempestivo e valutare i punteggi storici, presentiamo FinForesight, un benchmark diagnostico di backtesting per i sistemi di ricerca approfondita in ambito finanziario. Nei mercati cinese, statunitense e di Hong Kong, il benchmark valuta quattro compiti previsionali: valutazione, classificazione dei rendimenti, direzione degli eventi e fondamentali finanziari futuri. Due compiti diagnostici delle capacità valutano il ragionamento controfattuale e i calcoli finanziari, con punteggi separati da quelli delle prestazioni previsionali. Il nostro framework, compatibile con gli harness, limita le evidenze recuperate alle informazioni disponibili alla data della previsione. Confrontiamo valutazioni dell’era di pretraining, valutazioni post-cutoff con esiti già noti e valutazioni in tempo reale per verificare se i backtest controllati approssimino le prestazioni future. Nella maggior parte dei confronti temporali, i punteggi dell’era di pretraining superano quelli post-cutoff, mentre controlli più rigorosi sul recupero riducono il divario tra i backtest post-cutoff e i risultati in tempo reale. Le analisi di attribuzione delle previsioni e di robustezza mostrano come i punteggi varino in risposta alle politiche di recupero e come le previsioni reagiscano alle riscritture dei prompt e alle perturbazioni numeriche. Il codice e i dati del benchmark sono disponibili pubblicamente.