Un quadro assiomatico per l’apprendimento per rinforzo nei sistemi multi-agente aperti

Abstract degli autori

I sistemi multi-agente aperti, in cui è controllabile solo un sottoinsieme degli agenti, sono centrali in ambiti del mondo reale come le reti elettriche intelligenti, ma non dispongono di solide basi teoriche per la progettazione di algoritmi di apprendimento per rinforzo. Studiamo questo contesto attraverso il lavoro di squadra ad hoc con n agenti (NAHT), un quadro recente per l’apprendimento in ambienti multi-agente aperti. Proponiamo un quadro assiomatico che ricava l’apprendimento delle funzioni di valore dagli assiomi di Shapley (efficienza, simmetria e linearità), trattandoli come vincoli strutturali anziché come scelte euristiche di progettazione. Questa formulazione si basa su una nuova scomposizione NAHT, che caratterizza la differenza fondamentale tra i sistemi multi-agente aperti e quelli pienamente controllabili, e stabilisce una base teorica cooperativa dei giochi per l’apprendimento. Mostriamo inoltre che imporre questi assiomi all’apprendimento di funzioni di valore individuali permette di recuperare il valore di Shapley per i Dec-POMDP, creando un collegamento fondato su principi teorici tra l’apprendimento per rinforzo e la teoria classica dei giochi cooperativi. Sulla base di questo quadro, introduciamo Shapley Machines e Banzhaf Machines, due modelli algoritmici generici che possono essere istanziati con metodi standard di apprendimento per rinforzo. Applicati ad algoritmi di base efficaci come IPPO e POAM, i nostri metodi migliorano costantemente l’efficienza dell’apprendimento e la generalizzazione a tipi di agenti e convenzioni non osservati, nei task di benchmark NAHT. Il codice degli esperimenti è pubblicato su https://github.com/hsvgbkhgbv/axiomatic-rl-naht.