Iterazione generalizzata degli agenti: un unico quadro formale per il miglioramento iterativo delle politiche e l’auto-miglioramento ricorsivo

Abstract degli autori

Quando parliamo di auto-miglioramento ricorsivo (RSI), parliamo di un fenomeno, di un meccanismo o di una prospettiva? Nel percorso verso un’intelligenza autonoma e in evoluzione, si sostiene che l’RSI si manifesti su molte scale, ma non esiste un unico quadro formale che descriva queste manifestazioni emergenti. Il suo corrispettivo nell’ambito classico, il miglioramento iterativo delle politiche, è descritto dall’iterazione generalizzata delle politiche (GPI), un quadro di ampia applicabilità dalle proprietà teoriche ben comprese, ma solo quando il principio di aggiornamento e la base di valutazione sono esterni all’agente. In questo articolo proponiamo Generalized Agent Iteration (GAI), un quadro formale che descrive il miglioramento iterativo delle politiche e l’RSI come due casi di un unico paradigma di apprendimento. GAI definisce l’agente come una configurazione di componenti modificabili all’interno di un sistema e modella il processo di apprendimento come un ciclo di valutazione e miglioramento dell’agente. Due variabili decisive distinguono poi i diversi casi: se il meccanismo di miglioramento fa parte dell’agente e se il criterio rispetto al quale l’agente viene valutato ha un fondamento esterno a esso. La prima variabile traccia il confine tra GPI e RSI; la seconda determina la polarità di un sistema, che può essere ancorata, caratterizzata da deriva degli obiettivi o pienamente autoreferenziale. Usiamo inoltre queste coordinate per collocare i sistemi esistenti sugli stessi due assi e rendere enunciabili i difetti dell’auto-miglioramento ricorsivo una condizione alla volta. Consideriamo questo articolo un primo passo verso una caratterizzazione formale dell’RSI che si fondi sulla trattazione classica, renda confrontabili i sistemi esistenti e offra una base fondata su principi per analizzarne e progettarne di nuovi.