Selective Growing Q-Networks (SGQN): un’analisi delle griglie di azioni adattive nel Q-learning disaccoppiato

Abstract degli autori

Nel controllo continuo, il Q-learning basato sul valore può discretizzare lo spazio delle azioni, ma la risoluzione della discretizzazione comporta un compromesso tra l’esplorazione iniziale e la precisione finale. Growing Q-Networks (GQN) aumenta uniformemente la risoluzione, passando da una griglia grossolana a una più fine. Introduciamo Selective Growing Q-Networks (SGQN), che mantiene il Q-learning disaccoppiato e sostituisce la crescita uniforme con una griglia di azioni adattiva: vengono aggiunti intervalli accanto a quelli con un valore Q stimato elevato, gli intervalli con un valore Q basso vengono eliminati e le azioni sono selezionate con una strategia epsilon-greedy. Su otto task della DeepMind Control Suite (DMControl), con uno spazio delle azioni da 2 a 12 dimensioni, SGQN ottiene il ritorno finale medio più alto tra i metodi confrontati in quattro task, si colloca entro l’1,1% dal metodo migliore in altri tre e, nel task Walker Run, è inferiore a Bang-Bang MPO del 3,4%, utilizzando in media 7,5 dei 9 intervalli disponibili per dimensione. Verifichiamo poi se la griglia adattiva spieghi questi risultati e scopriamo che non è così. La crescita attiva ogni intervallo candidato e si comporta come una crescita uniforme; eliminare la potatura modifica il ritorno al massimo dell’1,1%. Contano invece altre due scelte: partire da una griglia grossolana, poiché iniziare con tutti e 9 gli intervalli produce seed che collassano, e la selezione epsilon-greedy, poiché una softmax con temperatura ridotta gradualmente abbassa il ritorno di una percentuale compresa tra il 23% e il 100%. SGQN è insensibile ai propri iperparametri di crescita e potatura. Differisce inoltre dai metodi di riferimento GQN e DecQN anche per altri aspetti, in particolare perché effettua un aggiornamento del gradiente per ogni passo nell’ambiente anziché uno ogni otto: non abbiamo controllato questa differenza e quindi non attribuiamo il suo vantaggio a un’unica componente. Presentiamo SGQN come un metodo competitivo basato sul valore e come un’analisi di quali componenti di una griglia di azioni in crescita siano importanti.