Un modello di controllo latente per il movimento realistico dei roditori

Abstract degli autori

Sviluppare modelli incarnati del comportamento animale è uno degli obiettivi principali della comunità di ricerca che unisce neuroscienze e IA. Questi modelli miglioreranno la nostra capacità di confrontare direttamente agenti biologici e artificiali. Perché tali confronti siano efficaci, però, servono modelli incarnati che si muovano davvero come gli animali. Studi precedenti hanno sviluppato corpi animali virtuali e tecniche per addestrarli a produrre movimenti realistici mediante imitazione. Finora, tuttavia, non esiste un sistema di modellazione incarnata degli animali che produca movimenti naturali sia durante comportamenti appresi e orientati a un obiettivo, sia durante l’esplorazione guidata dalla generazione casuale. Presentiamo Simulated Control via Augmented Motor Priors for Embodied Reinforcement learning (SCAMPER), un sistema per addestrare un modello incarnato di ratto virtuale che consente movimenti naturali sia nei comportamenti orientati a un obiettivo sia nell’esplorazione casuale. SCAMPER usa un’architettura variazionale con due distinte distribuzioni a priori: una del movimento, per il controllo, e una del comportamento, per l’esplorazione. Mostriamo che la combinazione delle due permette a SCAMPER di generare comportamenti realistici durante l’esplorazione e di sfruttare efficacemente la struttura del compito. SCAMPER può inoltre apprendere da ricompense sparse grazie alla varietà dei movimenti indotta dalla distribuzione a priori del comportamento; ciò consente al sistema di modellare compiti realistici con ricompense sparse, tratti dalle neuroscienze sperimentali. Nel complesso, SCAMPER offre alla comunità di ricerca che unisce neuroscienze e IA un nuovo sistema efficace per addestrare modelli incarnati di roditori su compiti realistici.