DaCe-DT: apprendimento per rinforzo multi-task offline incentrato sui dati tramite prompt adattivi e correzione delle traiettorie per compiti eterogenei

Abstract degli autori

L’apprendimento per rinforzo multi-task offline (Offline MTRL) dipende fortemente dalla qualità e dalla distribuzione dei dati raccolti in precedenza. Tuttavia, i metodi esistenti si concentrano soprattutto sull’ottimizzazione degli algoritmi e dedicano meno attenzione ai miglioramenti dei dati che potrebbero accrescere la capacità di apprendimento e le prestazioni di generalizzazione. Esaminando il problema dal punto di vista dei dati, questo studio individua tre ostacoli principali alle prestazioni dell’Offline MTRL: (i) l’uso inefficace della lunghezza dei prompt a fronte di compiti con diversi gradi di complessità, (ii) l’irrilevanza semantica dei segmenti di prompt campionati casualmente e (iii) la supervisione fuorviante prodotta da traiettorie frammentate e discontinue. Per affrontare queste difficoltà, proponiamo DaCe-DT, un framework robusto per l’Offline MTRL, progettato per essere insensibile alle differenze di complessità tra i compiti e alla qualità dei dati. Comprende il mascheramento dei prompt regolato in base alla lunghezza (LGPM), la costruzione dei prompt potenziata dal recupero di informazioni (RAPC) e la calibrazione del ritorno adattiva rispetto al valore (VARC). Insieme, questi meccanismi consentono a DaCe-DT di adattare i prompt e perfezionare le traiettorie a partire dai dati, ottenendo una solida generalizzazione tra più compiti e un apprendimento stabile delle policy anche in presenza di dati offline e compiti eterogenei. I risultati sperimentali su Meta-World mostrano che DaCe-DT supera costantemente i metodi più avanzati, con un miglioramento medio dell’11,73% sui dataset ottimali e un miglioramento del 13,34% sui dataset subottimali. Ciò ne dimostra l’efficacia nell’apprendere in modo stabile da dati imperfetti e nel migliorare le prestazioni complessive su più compiti.