ConventionPlay: addestramento con capacità limitate per una collaborazione ad hoc robusta

Abstract degli autori

La collaborazione ad hoc richiede spesso agli agenti di individuare e rispettare una convenzione condivisa nell’ambito di un compito cooperativo. I lavori esistenti sull’apprendimento per rinforzo (RL) applicato alla collaborazione ad hoc si concentrano sull’addestramento di agenti che si adattano alle convenzioni stabilite dai loro partner. Questi metodi non considerano che, mentre alcuni partner potrebbero seguire una sola convenzione fissa, altri potrebbero essere a loro volta in grado di adattarsi a più convenzioni. Presentiamo ConventionPlay, un approccio basato sull’RL che insegna agli agenti a scoprire la convenzione ottimale per il proprio partner addestrandoli con una popolazione di partner ottenuta tramite apprendimento, i cui membri mostrano diversi gradi di adattabilità alle convenzioni. Alcuni di questi partner seguono una sola convenzione fissa, mentre altri sono in grado di adattarsi a un sottoinsieme delle convenzioni possibili per il compito in questione. La presenza di partner che supportano un sottoinsieme limitato di convenzioni costringe gli agenti addestrati con questa popolazione a sondare attivamente le capacità del proprio partner e a indirizzarlo verso la strategia congiunta più efficace che è in grado di seguire. I nostri risultati sperimentali dimostrano che, rispetto ai metodi esistenti per la collaborazione ad hoc, gli agenti addestrati con ConventionPlay ottengono prestazioni superiori quando collaborano con popolazioni di partner usate per il test che sono compatibili con più convenzioni.