PopGen: generare popolazioni semanticamente diverse per la coordinazione zero-shot

Abstract degli autori

Nell’apprendimento per rinforzo multiagente, far interagire durante l’addestramento un agente cooperativo con partner che adottano strategie diverse è fondamentale per migliorare la collaborazione nella fase di test. I metodi esistenti, tuttavia, si affidano di norma a misure indirette della diversità basate sulle traiettorie, che possono classificare come diverse due traiettorie distinte della stessa strategia. La nostra intuizione centrale è invece sfruttare la capacità degli LLM di descrivere agenti con comportamenti distinti all’interno degli ambienti, in modo simile a come gli esseri umani sanno riconoscere le strategie di alto livello. A questo scopo, presentiamo PopGen, un framework che genera da zero agenti semanticamente diversi usando gli LLM. PopGen genera dapprima un insieme diversificato di descrizioni testuali dei comportamenti degli agenti, poi traduce ciascun comportamento in una policy espressa in codice ed eseguibile nell’ambiente. Mostriamo che gli agenti cooperativi addestrati confrontandosi con popolazioni PopGen ottengono una cooperazione zero-shot robusta con partner mai incontrati, superando le baseline di population play in quattro ambienti collaborativi. Mostriamo inoltre che la diversità semantica cresce con la dimensione della popolazione PopGen, migliorando le prestazioni dell’agente cooperativo nel caso peggiore, e individuiamo scelte progettuali che preservano la qualità della popolazione massimizzandone la diversità. Il nostro codice è disponibile all’indirizzo https://github.com/labicon/PopGen.