Apprendere l’auto-orchestrazione negli sciami decentralizzati di agenti

Abstract degli autori

Le capacità di uno sciame di agenti dipendono sia dai singoli membri sia dal modo in cui si coordinano. Eppure, i sistemi multiagente esistenti spesso addestrano gli agenti all’interno di strutture di orchestrazione fisse, separando l’apprendimento delle capacità individuali dall’organizzazione del comportamento collettivo. Presentiamo il post-training basato sul mercato (MPT), un metodo per apprendere congiuntamente le politiche d’azione e l’auto-orchestrazione negli sciami decentralizzati di agenti. Gli agenti esprimono la propria disponibilità a partecipare tramite offerte, che determinano chi agisce e come i risultati collettivi vengono attribuiti localmente ai fini dell’addestramento. Apprendere sia il comportamento d’azione sia quello di offerta permette alle capacità individuali e alle modalità di partecipazione di adattarsi insieme, senza un agente coordinatore centrale. Valutiamo MPT nella creazione di oggetti da parte di agenti incarnati, nella navigazione robotica e nella ricerca approfondita. I risultati mostrano miglioramenti rispetto al post-training monolitico e confermano che la partecipazione degli agenti evolve effettivamente con l’apprendimento. A parità di politiche d’azione sottoposte a post-training, l’auto-orchestrazione appresa supera le strategie di coordinamento alternative. Gli studi di ablazione mostrano che l’apprendimento giova sia all’azione sia alle offerte e che le offerte apprese forniscono segnali più efficaci per addestrare l’azione. Oltre agli obiettivi di addestramento originali, gli sciami addestrati si adattano più rapidamente a compiti correlati e ottengono prestazioni migliori con popolazioni più numerose al momento dell’inferenza. Le popolazioni più numerose subiscono inoltre perdite di prestazioni minori quando alcuni agenti vengono meno, a dimostrazione del fatto che l’auto-orchestrazione appresa favorisce il riutilizzo, la scalabilità e la robustezza negli sciami decentralizzati di agenti. Il codice e i modelli addestrati sono disponibili all’indirizzo https://github.com/Embodied-Minds-Lab/MPT.