Apprendimento per rinforzo multi-agente cooperativo tramite esplorazione guidata in forma epigrafica

Abstract degli autori

Individuare comportamenti cooperativi nell’apprendimento per rinforzo multi-agente (MARL) è difficile a causa della complessità combinatoria degli spazi congiunti stato-azione, che ostacola l’emergere di comportamenti coordinati basati esclusivamente su tentativi ed errori. Spesso si ricorre a ricompense intrinseche per agevolare questa ricerca, ma combinarle ingenuamente con gli obiettivi di squadra può distorcere il segnale di apprendimento e compromettere le prestazioni nel compito. In questo articolo proponiamo EFXPLORER, un framework di esplorazione vincolata che massimizza gli obiettivi di esplorazione nel rispetto di un vincolo che preserva le prestazioni già raggiunte nel compito. Risolviamo il problema risultante mediante una riformulazione epigrafica che introduce budget di esplorazione adattivi. Questo approccio separa le ricompense intrinseche dagli obiettivi del compito e regola l’esplorazione attraverso la fattibilità del compito. Per favorire ulteriormente un’esplorazione diversificata e prolungata nel tempo, integriamo una ricompensa intrinseca basata sulla distanza tra successori, che coglie le dipendenze su orizzonti temporali lunghi. Nei test empirici, il nostro metodo supera solide baseline e porta allo sviluppo di nuove strategie cooperative nelle suite di benchmark SMAX, VMAS e MPE.