Gli LLM non sanno ciò che sanno: un benchmark della conoscenza temporale di sé per il backtesting finanziario

Abstract degli autori

I backtest finanziari dei modelli linguistici di grandi dimensioni (LLM) sono significativi solo se il modello non conosceva già gli esiti che gli viene chiesto di prevedere. Per tutelarsi, gli operatori si affidano alla data limite della conoscenza dichiarata dal fornitore, chiedono al modello che cosa sa oppure gli chiedono di rispondere riferendosi a una data passata. Per verificare se ci si possa fidare di queste misure di salvaguardia, presentiamo FinDendro, un benchmark composto da 2.226 fatti statunitensi datati, dal 1999 al 2026, che coprono serie macroeconomiche mensili, prezzi azionari di fine mese e decisioni della Federal Reserve. Ogni fatto genera quattro prompt: una domanda sul valore, domande Recall e Predict che associano ciascun valore candidato a un’affermazione di sapere o di tirare a indovinare senza indicare una data, e una domanda Predict con una data storica dichiarata. I controlli per la persistenza e per gli esiti dominanti mantengono l’accuratezza casuale intorno a 0,27. I risultati mostrano che, per la maggior parte dei modelli di frontiera, le autovalutazioni sottostimano le conoscenze. GPT-5 risponde correttamente al 76% dei fatti controllati, ma dichiara di conoscerne il 38% e risponde correttamente al 61% dei fatti che afferma di non conoscere. Le dichiarazioni di conoscenza possono persistere oltre il confine misurato della conoscenza, fino a sette trimestri, e una data dichiarata elimina la maggior parte delle dichiarazioni di conoscenza pregressa senza modificare l’accuratezza. I backtest condotti all’interno della finestra di addestramento di un modello non possono quindi essere certificati come privi di leakage sulla base di autovalutazioni, istruzioni o date limite dichiarate. Questi risultati motivano la misurazione comportamentale dei confini temporali della conoscenza; FinDendro fornisce un benchmark e una procedura per selezionare i periodi di backtest sulla base delle conoscenze fattuali dimostrate.