FOCUS: controllo del primo ordine con supervisione tramite trasporto ottimale per l’imitazione da osservazioni

Abstract degli autori

L’apprendimento per imitazione da osservazioni deve ricostruire il comportamento a partire da dimostrazioni contenenti solo stati, senza una corrispondenza temporale nota. I simulatori differenziabili forniscono gradienti di policy pathwise, ma differenziare attraverso traiettorie lunghe e ricche di contatti può rendere instabile l’ottimizzazione. Presentiamo FOCUS, che combina l’allineamento locale tramite trasporto ottimale con l’apprendimento differenziabile actor-critic su orizzonti brevi. FOCUS abbina finestre delle traiettorie generate dall’agente a più segmenti di dimostrazioni esperte campionati, usando un obiettivo soft best-of-$K$ che privilegia gli abbinamenti localmente compatibili. I costi risultanti basati sul trasporto forniscono ricompense differenziabili per l’imitazione, mentre un critico appreso stima il valore oltre l’orizzonte delle traiettorie generate. FOCUS non richiede né traiettorie allineate temporalmente né un’inizializzazione allineata alle dimostrazioni esperte o il teacher forcing. Nei compiti di locomozione ricchi di contatti in DFlex, incluso quello di un umanoide muscoloscheletrico controllato da 152 attivazioni muscolari, FOCUS migliora l’efficienza nell’uso dei campioni e la stabilità dell’addestramento rispetto ai metodi avversari di imitazione da osservazioni e ai precedenti metodi differenziabili di base per l’imitazione.