Apprendimento per rinforzo multiobiettivo mediante ensemble con instradamento e attribuzione delle traiettorie

Abstract degli autori

L’apprendimento per rinforzo multiobiettivo è un problema fondamentale per l’IA moderna, con applicazioni che spaziano dal post-training ai modelli di ragionamento e al controllo robotico. Una sfida centrale consiste nell’apprendere policy capaci di bilanciare obiettivi in conflitto, come l’utilità e l’onestà nell’ambito della sicurezza e dell’allineamento, oppure la velocità e il consumo energetico nella robotica. La policy ottimale può variare nettamente a seconda della combinazione dei pesi assegnati agli obiettivi, e l’entità di questa variazione dipende in modo cruciale dal grado di conflitto tra gli obiettivi: apprendere una policy per ciascuna preferenza richiede quindi molti campioni. In questo articolo introduciamo coefficienti di conflitto tra obiettivi e, usando questa misura, ricaviamo limiti quasi ottimali per il regret in contesti online, quantificando così l’impatto del mancato allineamento sull’efficienza dell’apprendimento. Progettiamo poi un algoritmo di apprendimento delle policy mediante ensemble con instradamento, che mantiene un piccolo insieme di policy di base e instrada dinamicamente le traiettorie verso la policy con la ricompensa potenziale più alta. Infine, consideriamo la selezione delle traiettorie come un altro approccio per attenuare il conflitto tra obiettivi e progettiamo un algoritmo di attribuzione delle traiettorie basato su un surrogato kernel, che stima in che modo i segnali di feedback provenienti da un insieme di traiettorie influenzino l’apprendimento della policy su altre traiettorie. Il kernel può cogliere interazioni non lineari tra traiettorie, come sinergie e antagonismi. Valutiamo il nostro approccio in diversi ambienti e benchmark: negli ambienti online di Meta-World e MO-Gymnasium, gli ensemble con instradamento migliorano le prestazioni medie del 4,3% rispetto ai metodi di riferimento; l’attribuzione basata su un surrogato kernel migliora del 50% la correlazione con l’analisi leave-one-out rispetto ai metodi di riferimento esistenti. Applicata alla selezione delle traiettorie, l’attribuzione basata su kernel produce un miglioramento della ricompensa del 27% rispetto ai metodi di attribuzione di riferimento.