Coordinamento multi-agente tramite distillazione che preserva il supporto

Abstract degli autori

Il MARL offline si affida sempre più spesso a politiche generative per modellare comportamenti congiunti multimodali, di norma distillando un modello insegnante centralizzato in attori decentralizzati a singolo passo nel quadro del CTDE. Individuiamo un problema nella fase di addestramento del modello insegnante: i modelli insegnanti standard basati su flow associano in modo indipendente il rumore agli obiettivi del replay, perciò campioni di rumore vicini possono essere indirizzati verso modalità di coordinamento in conflitto. Il modello insegnante genera così campioni intermedi tra modalità valide e, poiché la funzione di perdita della distillazione porta ciascun attore locale a riprodurre la media condizionata dell’output del modello insegnante dato l’input locale, l’errore non viene assorbito ma si propaga al modello studente. Per eliminare questo artefatto introdotto dal modello insegnante, proponiamo Mode-Support Semi-Discrete Optimal Transport (MoSDOT), che riassume il replay multimodale in un supporto finito di modalità con capacità prestabilite e usa il trasporto ottimale semi-discreto condizionato per assegnare ogni campione di rumore a un’unica modalità prima dell’addestramento del modello insegnante. Studiamo inoltre una variante con casualità condivisa, che impiega una componente di rumore condivisa durante l’esecuzione per mettere in evidenza il divario residuo intrinseco all’esecuzione a prodotto stretto. Nei test diagnostici controllati e sui benchmark di MARL offline, MoSDOT migliora la qualità dei punti finali e la coerenza dell’instradamento, in particolare nei dataset che presentano comportamenti congiunti multimodali.