EvolveTrade: perfezionamento delle policy guidato dall’esperienza per agenti di trading basati su LLM capaci di evolvere autonomamente

Abstract degli autori

Gli agenti di trading basati su modelli linguistici di grandi dimensioni (LLM) possono combinare dati di mercato, notizie e analisi eseguibili, ma il loro comportamento è spesso governato da policy statiche per l’uso degli strumenti, scritte a mano e fissate prima della distribuzione. Questo ne limita la capacità di adattare il modo in cui raccolgono informazioni, utilizzano gli strumenti, verificano i segnali e gestiscono il rischio al variare dei regimi di mercato. Presentiamo EvolveTrade, un framework capace di evolvere autonomamente che tratta il prompt di sistema di un agente di trading che usa strumenti come una policy parametrizzata tramite testo. Dopo ogni intervallo di aggiornamento, un Policy Agent rivede questa policy sulla base delle tracce decisionali accumulate e dei risultati effettivi del portafoglio, mantenendo invariato l’LLM di base. La policy aggiornata viene poi usata per il lotto successivo di decisioni di trading, consentendo all’agente di perfezionare nel tempo le proprie procedure di acquisizione delle informazioni e di costruzione del portafoglio. Esperimenti condotti su diversi regimi di mercato e con due LLM di base mostrano che EvolveTrade migliora spesso l’indice di Sharpe e il rendimento cumulativo rispetto agli LLM con policy fissa usati come riferimento, ottenendo miglioramenti di SR e CR nella maggior parte delle configurazioni valutate. Ulteriori analisi del comportamento mostrano che le policy evolute autonomamente aumentano le analisi condotte mediante codice e attivano calcoli pertinenti al regime di mercato; attribuzioni condotte sui singoli casi, dalla policy al rendimento, ricostruiscono come i cambiamenti nell’allocazione indotti dalla policy contribuiscano alle differenze nei rendimenti effettivi. Questi risultati suggeriscono che adattare la procedura riutilizzabile che governa l’uso degli strumenti sia una direzione fondamentale per sviluppare agenti di trading basati su LLM più robusti.