Obiettivi intrinseci per agenti autonomi: l’esplorazione gerarchica coglie l’azione volitiva futura in Drosophila

Abstract degli autori

Gli animali hanno una notevole capacità di agire autonomamente, spinti da una motivazione intrinseca, anche in assenza di segnali sensoriali esterni o obiettivi estrinseci. Eppure i meccanismi computazionali alla base di questa capacità restano in gran parte un mistero. Combiniamo registrazioni dell’attività dell’intero cervello del moscerino della frutta (Drosophila melanogaster), che rivelano rappresentazioni neurali delle decisioni esplorative spontanee con oltre 10 secondi di anticipo, con un gemello digitale neuromeccanico. Verifichiamo così se l’ottimizzazione di obiettivi intrinseci produca agenti artificiali dotati di un corpo realistico, capaci di riprodurre quantitativamente il comportamento dei moscerini e le loro rappresentazioni interne dell’azione volitiva futura durante l’esplorazione. La nostra policy gerarchica seleziona da un insieme discreto di primitive motorie di basso livello, in linea con le teorie etologiche delle sillabe comportamentali. Addestriamo gli agenti senza ricompense esterne, usando 20 algoritmi di motivazione intrinseca basati su curiosità, entropia e competenza. Valutiamo gli agenti in un test virtuale con sfera vincolata, modellato sull’esperimento condotto sui moscerini, confrontando le statistiche della locomozione spontanea e le rappresentazioni interne e decodificando la direzione delle svolte future dalla cinematica e dall’attività neurale sulle stesse scale temporali osservate nei moscerini. DIAYN, un algoritmo gerarchico basato sulla competenza che apprende policy discrete per massimizzare l’entropia comportamentale e la distinguibilità delle osservazioni sensoriali indotte, ottiene i risultati migliori nel riprodurre congiuntamente il comportamento e la codifica neurale prospettica dei moscerini. Le policy apprese riproducono fedelmente la variabilità individuale delle strategie esplorative dei moscerini, suggerendo che questa diversità serva a massimizzare la copertura dello spazio degli stati a livello di popolazione. Anche l’attività latente di DIAYN riproduce fedelmente la regola somma-differenza della codifica interemisferica della cinematica nei moscerini reali. Questi risultati indicano che gli agenti gerarchici mossi da motivazioni intrinseche costituiscono un potente strumento per ricostruire i meccanismi dell’autonomia animale.