E2A-Bench: un benchmark per l’affidabilità del passaggio dalle evidenze alle azioni nel ragionamento sui grafici finanziari

Abstract degli autori

I modelli visivo-linguistici (VLM) per la finanza sono in grado di trasformare le evidenze ricavate dai grafici in raccomandazioni d’azione affidabili? Le valutazioni esistenti delle allucinazioni si concentrano perlopiù sulle singole affermazioni: verificano se ciò che viene affermato è supportato dalle evidenze, ma non se queste restano rintracciabili nel ragionamento, nel livello di fiducia e nell’azione finale. Presentiamo E2A-Bench, un benchmark di 969 query per il ragionamento sui grafici finanziari, costruito a partire da 323 componenti dell’HS300 in tre modalità di input, con evidenze di riferimento deterministiche derivate dai dati OHLCV. E2A-Bench valuta l’ancoraggio alle evidenze, la coerenza tra ragionamento e azione, la calibrazione del livello di fiducia rispetto alle evidenze e la copertura direzionale mediante UCR, RCI, ECI e NDR. NDR misura l’affidabilità del passaggio dalle evidenze alle azioni tenendo conto della copertura, non i risultati effettivi delle operazioni di trading. La valutazione di 20 VLM rivela tre limiti che i punteggi aggregati delle allucinazioni nascondono: il modello con l’UCR più basso si colloca quasi in fondo alla classifica per NDR, a causa di una copertura direzionale di appena il 6,4%; la verifica assistita da un oracolo riduce le affermazioni non supportate, ma può far crollare la copertura; e il fine-tuning finanziario moltiplica il rapporto BUY:SELL per fattori compresi tra 4,21 e 4,68 nelle coppie rigorosamente abbinate di modelli di base e modelli sottoposti a fine-tuning. Questi risultati mostrano che la valutazione dei VLM finanziari dovrebbe seguire l’intera catena che va dalle evidenze alle azioni, anziché affidarsi a un unico punteggio delle allucinazioni. Codice e dati: https://github.com/wanng-ide/E2A-Bench