EPSBench: valutazione comparativa degli agenti LLM per la previsione degli utili

Abstract degli autori

La previsione trimestrale degli utili richiede a un agente di collegare le evidenze finanziarie alle voci del conto economico che determinano gli utili dichiarati da un’azienda. Presentiamo EPSBench, un benchmark per studiare questa capacità su 149 combinazioni azienda-trimestre relative a 86 aziende statunitensi. Gli agenti leggono una raccolta prestabilita di documenti depositati, trascrizioni delle conference call sui risultati e notizie, quindi stimano i fattori specifici di ciascuna azienda che determinano le voci del conto economico, corredando le stime di evidenze citate. Un calcolatore contabile condiviso converte queste stime in utile diluito per azione secondo i GAAP (EPS), fornendo una base comune per confrontare le ipotesi alla base delle previsioni. Valutiamo sei modelli con un framework comune, misurando l’errore delle previsioni puntuali rispetto al consenso degli analisti riferito alla stessa data e verificando se gli intervalli di previsione raggiungono il livello di copertura dichiarato. Tre modelli non mostrano differenze appaiate rilevabili nell’errore delle previsioni puntuali rispetto al consenso, mentre tre presentano errori maggiori. Per tutti e sei i modelli, gli intervalli nominali all’80% includono l’EPS dichiarato solo nel 37–70% delle esecuzioni in cui viene restituito un intervallo; nella maggior parte dei casi in cui l’intervallo non include l’EPS, questo supera il limite superiore, perché le previsioni risultano troppo basse. I dati sui fattori determinanti riconducono alle stime del reddito operativo la maggior parte del divario di errore tra i modelli.