Scoperta di abilità guidata dal gioco tramite self-play per il controllo di agenti giocabili

Abstract degli autori

Presentiamo Game-Guided Skill Discovery (GGSD), un framework che usa il self-play nei giochi per scoprire abilità motorie che gli esseri umani possono utilizzare direttamente per giocare. Le abilità utilizzabili per giocare offrono un’astrazione compatta per controllare agenti incarnati attraverso un piccolo insieme di comportamenti appresi, anziché tramite azioni di basso livello. Per essere efficaci, queste abilità devono essere semanticamente distinte, interpretabili ed espressive: proprietà che i metodi esistenti di scoperta non supervisionata delle abilità spesso non riescono a ottenere contemporaneamente. GGSD soddisfa questi requisiti ancorando la scoperta delle abilità al gioco competitivo. Un agente gerarchico compete contro le proprie versioni precedenti: una policy di alto livello seleziona le abilità da un piccolo insieme discreto, mentre una policy di basso livello condizionata dall’abilità apprende i comportamenti corrispondenti. Dopo l’addestramento, una persona può sostituire la policy di alto livello e controllare direttamente l’agente tramite le stesse abilità discrete. Nonostante il numero ridotto di azioni di alto livello, le transizioni tra abilità danno origine a combinazioni di comportamenti emergenti, ampliando le possibilità espressive oltre quelle delle singole primitive. Negli ambienti Ant, Franka-arm e Unitree G1, mostriamo che GGSD produce abilità utilizzabili dagli esseri umani per giocare e che questi possono combinare per risolvere compiti mai visti, come Maze e CubePush, senza ulteriore addestramento. Una demo interattiva è disponibile all’indirizzo https://ggsd-demo.github.io.