Comprendere la multimodalità nella clonazione comportamentale generativa

Abstract degli autori

La clonazione comportamentale diventa difficile quando una stessa osservazione ammette diverse azioni valide. Studiamo come le politiche di clonazione comportamentale generativa rappresentino questo comportamento multimodale dell’esperto e individuiamo colli di bottiglia diversi a seconda della parametrizzazione del modello. Nelle politiche a variabili latenti, preservare le modalità dimostrate richiede che la rappresentazione latente contenga informazioni condizionate dall’azione. Una regolarizzazione eccessiva tra la distribuzione a posteriori e quella a priori può sopprimere queste informazioni e impedire alla politica di distinguere le modalità dimostrate. Una regolarizzazione più debole o aggregata può preservare le informazioni sulle modalità, ma sposta la difficoltà sull’esigenza di garantire che la distribuzione a priori usata in fase di impiego copra le regioni latenti rilevanti. Nelle politiche generative nello spazio delle azioni, la multimodalità è limitata dalla regolarità del trasporto dallo spazio di base allo spazio delle azioni: una mappa con una costante di Lipschitz piccola non può assegnare una probabilità significativa a molte modalità ben separate. Coprire molte modalità richiede quindi transizioni brusche nello spazio di base oppure regioni ponte al di fuori del supporto nello spazio delle azioni. Esperimenti sulla navigazione multimodale sintetica e su un compito di manipolazione bimodale svolto da un robot fisico confermano questi meccanismi. Per contro, la nostra analisi rivela una multimodalità condizionale limitata nei benchmark standard di simulazione robotica, nei quali la regressione deterministica rimane competitiva.