AgentGarten: mondi definiti dal codice per agenti in evoluzione

Abstract degli autori

I mondi virtuali interattivi permettono agli agenti di apprendere esplorando e interagendo. Ciò che gli agenti possono imparare dipende dagli ambienti in cui si esercitano: questi devono essere fedeli, con stati, regole e dinamiche coerenti, e realistici, con osservazioni che seguono le distribuzioni visive del mondo reale. Ottenere entrambe le caratteristiche in mondi diversi resta un ostacolo. Presentiamo AgentGarten, un framework che combina simulatori e motori di gioco con un renderer neurale condiviso per creare ambienti interattivi in tempo reale. I suoi backend di simulazione mantengono uno stato persistente del mondo ed eseguono regole di interazione definite da programmi, mentre il renderer genera osservazioni visive a partire da condizioni strutturate trasmesse attraverso un’interfaccia comune. Per realizzare il renderer neurale, adattiamo un modello video preaddestrato a condizioni geometriche, lo sottoponiamo a distillazione con Adversarial Forcing, il metodo che proponiamo, e ottimizziamo l’inferenza per l’interazione in tempo reale. Adversarial Forcing rende differenziabile il prefilling della cronologia mediante una riproduzione esatta, così che le funzioni di perdita relative alle previsioni successive aggiornino il modo in cui il renderer codifica le osservazioni precedenti; aggiunge inoltre una supervisione avversaria basata su dati reali per migliorarne la qualità visiva. In AgentGarten, gli agenti percepiscono il mondo attraverso osservazioni visive, interagiscono con esso in tempo reale e migliorano distillando ogni ciclo di esperienza in playbook che gli agenti successivi ereditano e perfezionano. Il nostro studio empirico mostra un notevole aumento dell’efficienza dell’apprendimento: agli agenti bastano 4 cicli per apprendere, contro i milioni necessari a un corrispondente agente convenzionale basato sull’apprendimento per rinforzo. Poiché nuovi mondi possono essere definiti nel codice e rappresentati attraverso la stessa interfaccia, gli ambienti possono crescere per numero e difficoltà insieme ai loro agenti: un passo verso agenti che continuano a evolversi attraverso l’esperienza interattiva.