Apprendimento per rinforzo multiagente cooperativo per il market making nei book degli ordini dei mercati predittivi

Abstract degli autori

Un market maker fornisce liquidità proponendo prezzi a cui comprare e vendere un’attività: guadagna sullo spread e gestisce il rischio legato alle posizioni detenute. Studiamo market maker addestrati con l’apprendimento per rinforzo multiagente sui mercati predittivi, in particolare Polymarket, i cui book degli ordini poco profondi pongono sfide specifiche. La ricerca affronta tre problemi: la selezione avversa può indurre una policy addestrata su dati reali a smettere di proporre quotazioni; gli effetti di una quotazione possono manifestarsi molti passaggi dopo l’azione; e i dati L2 dei mercati predittivi non identificano i singoli ordini necessari per la simulazione. Per affrontarli, ricostruiamo dai dati di Polymarket i singoli ordini in formato LOBSTER e addestriamo gli agenti in JaxMARL-HFT su 417 mercati reali. Arricchiamo lo spazio delle osservazioni del market maker di riferimento con il book e il flusso recente, ne riprogettiamo le azioni e i controlli delle posizioni e proponiamo una suddivisione cooperativa tra due agenti, uno addetto alle quotazioni e uno alla gestione del rischio, addestrati mediante Independent Proximal Policy Optimisation (IPPO) ricorrente con policy RNN. Esaminiamo la modellazione delle ricompense, in particolare la loro combinazione e il markout successivo all’esecuzione, per attenuare le difficoltà nell’attribuire i risultati ai due agenti. Il nostro market maker a singolo agente riprogettato propone quotazioni più spesso e registra perdite minori sui mercati esclusi dall’addestramento rispetto al modello di riferimento JaxMARL-HFT riaddestrato, anche se il contributo delle modifiche apportate insieme a osservazioni, azioni e vincoli di rischio non è identificato separatamente. La sola suddivisione tra agenti dà risultati scarsi; un’attenta progettazione delle ricompense migliora notevolmente i risultati del desk rispetto alla suddivisione senza tale intervento e produce il nostro risultato migliore. Valutiamo i modelli in base al valore realizzato del portafoglio alla fine di ciascun episodio su mercati esclusi dall’addestramento. Nessuna configurazione raggiunge un valore medio positivo del portafoglio nelle valutazioni periodiche su tali mercati, e ciascuna è stata addestrata con un solo seed. L’ambiente, i dati e il protocollo gettano le basi per market maker capaci di proporre quotazioni simultaneamente su molti mercati collegati.