DexDICE: conciliare sicurezza e prestazioni con l’apprendimento per imitazione offline a due esperti

Abstract degli autori

Garantire ritorni elevati e solide garanzie di sicurezza nell’apprendimento per imitazione offline (IL) è una sfida fondamentale: gli approcci esistenti o si basano su funzioni di costo specificate esplicitamente, difficili da progettare per vincoli di sicurezza complessi del mondo reale, oppure richiedono dimostrazioni di esperti che siano al tempo stesso sicure e ad alte prestazioni, spesso troppo costose da raccogliere. Introduciamo l’apprendimento per imitazione a due esperti, che sfrutta due fonti di dati complementari: (i) dimostrazioni conformi ai requisiti di sicurezza, che seguono fedelmente le linee guida di sicurezza ma possono essere subottimali, e (ii) dimostrazioni orientate alle prestazioni, che ottengono ritorni elevati ma possono violare le linee guida di sicurezza. Per affrontare questo problema, proponiamo DexDICE (apprendimento per imitazione offline a due esperti tramite stima stazionaria della correzione della distribuzione). Invece dei tradizionali vincoli di distribuzione, DexDICE combina l’apprendimento offline in stile DICE con vincoli di supporto sicuro, permettendo agli agenti di sfruttare comportamenti che producono ritorni elevati restando entro regioni conformi ai requisiti di sicurezza. Dimostriamo che la soluzione ideale che soddisfa esattamente questo vincolo ha, con alta probabilità, una frequenza di visita pari a zero nelle regioni non sicure. Valutiamo DexDICE su un benchmark DSRL ricurato e lo validiamo in un compito di navigazione di un robot mobile nel mondo reale, con addestramento basato direttamente su dimostrazioni di teleoperazione umana: il metodo supera nettamente le baseline e rimane robusto alla scarsità dei dati e al deterioramento della loro qualità.