FINCOSMOS: un paradigma di valutazione a mondo aperto per agenti nella finanza

Abstract degli autori

Gli agenti linguistici lavorano sempre più spesso per gli utenti sul Web aperto, e la finanza è l’ambito in cui è più difficile fidarsi di loro. I dati devono provenire dal Web, la strategia è nella testa dell’utente e la correttezza dipende dal tempo: così un agente può fallire senza che nessuno se ne accorga. Può proporre una strategia che l’utente non ha mai chiesto, usare dati non verificati o produrre un report convincente quanto uno corretto basandosi su un backtest che usa informazioni future. I benchmark esistenti chiudono il mondo in qualche modo, fissando il compito, i dati o la cronologia, e così eliminano questi errori invece di misurarli. Presentiamo FINCOSMOS, un paradigma di valutazione a mondo aperto per agenti che svolgono attività finanziarie. Un utente simulato ha una strategia nascosta, estratta da una grammatica composizionale, e la rivela solo se gli viene chiesto. L’agente non riceve dati: deve quindi reperirli sul Web, costruire un proprio backtest rispettando una soglia temporale per i dati e fornire risultati verificabili. La valutazione non richiede una risposta di riferimento. I programmi verificano la correttezza temporale e ricalcolano ogni metrica riportata; la strategia fornita viene confrontata con la specifica nascosta, e una sessione è accettata solo se l’utente è soddisfatto e nessuno dei 15 controlli di veto dà esito negativo. In 150 sessioni condotte con quattro agenti di programmazione e un modello privo di strumenti, nessuna sessione è stata accettata: ogni sessione approvata dall’utente simulato non supera un controllo del programma, e gli agenti sollevano solo il 54–64% dei dettagli che non sono stati loro comunicati. Gli esperti umani attribuiscono agli agenti l’88,33% dei fallimenti. Grazie al feedback di FINCOSMOS, un agente dotato di memoria persistente ha imparato tutti e dieci i compiti.