Actor-critic multiagente condizionato dalle credenze per la collaborazione decentralizzata tra LLM

Abstract degli autori

Studi recenti hanno esplorato come ottimizzare la collaborazione tra LLM mediante l’apprendimento per rinforzo multiagente (MARL), ma molti approcci si basano ancora su flussi di lavoro predefiniti, limitando l’efficienza e la scalabilità. La collaborazione decentralizzata tra LLM è complessa: gli agenti operano in modo indipendente con comunicazioni limitate, condividono un obiettivo comune e devono ricavare informazioni utili dalle tracce delle comunicazioni. In questo articolo proponiamo BCMAAC, un metodo actor-critic multiagente condizionato dalle credenze che mantiene credenze sulle informazioni contestuali e le usa per facilitare l’addestramento. Esperimenti su compiti di gioco in Minecraft, ricerca sul web e uso di strumenti mostrano che BCMAAC migliora le prestazioni nei compiti e il comportamento collaborativo rispetto a semplici baseline actor-critic. I miglioramenti sono particolarmente marcati nei compiti a più turni con informazioni contestuali più ricche, nei quali la modellazione delle credenze offre un chiaro vantaggio.