The Pulse
MirroS mette alla prova i mondi governati dal codice di AgentGarten
L’8 ottobre MirroS ha presentato AgentGarten, che abbina mondi di simulazione eseguibili a un renderer neurale capace di fornire agli agenti di IA un riscontro visivo mentre agiscono. Le prove descritte dal team comprendono nascondino, cond
AI.info Team · Scritto con l’IA ·
Le simulazioni eseguibili offrono agli agenti di IA regole esplicite e uno stato persistente; i mondi generati tramite video possono offrire scene visivamente più ricche, ma non espongono necessariamente gli oggetti e le meccaniche sottostanti all’ispezione diretta. MirroS afferma che AgentGarten unisce i due approcci: il codice governa ciò che accade, mentre un renderer neurale trasforma la geometria esportata nella successiva osservazione visiva dell’agente. Il team ha annunciato il progetto l’8 ottobre, presentando esperimenti in cui gli agenti imparano a svolgere compiti agendo, riesaminando i propri tentativi e trasmettendo istruzioni scritte ai round successivi.
L’affermazione secondo cui gli agenti possono apprendere comportamenti utili in una manciata di round è alla base del confronto centrale del progetto: MirroS misura i propri agenti visivi preaddestrati rispetto alle strategie emerse in uno studio molto più lungo sull’apprendimento per rinforzo. Il lavoro, però, non è ancora un toolkit pubblico completo per gli ambienti. Il repository del team indica che il codice per l’addestramento e l’inferenza del renderer è disponibile, mentre il codice dei mondi e il ciclo di esercitazione degli agenti devono ancora essere pubblicati.
Il codice governa il mondo; il renderer ne genera l’aspetto
AgentGarten usa simulatori o motori di gioco per mantenere lo stato del mondo ed eseguire regole definite da programmi. Questi ambienti esportano informazioni strutturate — come la profondità o le normali alle superfici — a un renderer neurale condiviso, che genera le immagini viste dall’agente. L’agente agisce sulla base di quelle immagini e il mondo si aggiorna prima dell’osservazione successiva.
Questa separazione dà al sistema un’interfaccia diversa da quella di un modello video che genera una sequenza a partire da condizioni fornite in anticipo. Il renderer di MirroS genera osservazioni in blocchi brevi, così l’agente può esaminare le conseguenze di un’azione prima di decidere cosa fare dopo. Il team afferma che la stessa interfaccia supporta navigazione, manipolazione di oggetti e contesti con più agenti, senza richiedere per ogni mondo una propria pipeline dettagliata per le risorse visive.
«In AgentGarten, gli agenti percepiscono il mondo attraverso osservazioni visive, interagiscono con esso in tempo reale e migliorano distillando l’esperienza di ogni round in istruzioni che gli agenti successivi ereditano e perfezionano.»
Jiawei Chi et al., “AgentGarten: Code Worlds for Evolving Agents”
Quattro round per un cane; dieci per una rampa
Il confronto principale di MirroS torna sul nascondino. Nella versione del team, gli agenti preaddestrati vedono immagini renderizzate in prima persona e impartiscono brevi programmi Python per il movimento e l’interazione con gli oggetti. Secondo la descrizione del progetto, non ricevono le coordinate degli oggetti né accedono allo stato nascosto del mondo. Dopo ogni round, gli agenti riesaminano i propri tentativi e aggiungono quanto appreso a istruzioni specifiche per ciascun ruolo.
Entro il quarto round, gli agenti nascosti avevano costruito un riparo spostando un pannello; entro il decimo, quelli che cercavano avevano usato una rampa per superare un muro. MirroS contrappone questi risultati allo studio di OpenAI sul nascondino del 2019, che secondo il team ha richiesto circa 25 milioni di episodi di addestramento per la costruzione di ripari e circa 100 milioni per l’uso della rampa. Non si tratta di un benchmark di addestramento direttamente comparabile: AgentGarten parte da agenti preaddestrati e conta i round di gioco e revisione, mentre il lavoro precedente citato addestra le strategie tramite apprendimento per rinforzo con partite degli agenti contro sé stessi.
Il team descrive anche prove di quattro round in altri quattro mondi. In un compito con un cane da compagnia, un agente doveva mantenere un’interazione volontaria per 60 secondi; in un compito su un ponte a corsia unica, due auto dovevano scambiarsi di posto; in un compito di conduzione, due cani dovevano guidare quattro pecore in un recinto; e una pala gommata doveva spostare rocce, portarne una dietro un muro e parcheggiare. MirroS riferisce che, nei tentativi del quarto round del compito di conduzione, tutte e quattro le pecore sono state condotte nel recinto senza spaventarle, mentre la pala gommata ha completato una parte maggiore della sequenza rispetto al primo round, terminando con 31 secondi ancora disponibili.
Il renderer è pubblico; il ciclo di esercitazione no
La sfida tecnica del progetto è rendere le osservazioni generate reattive e coerenti anche nel corso di interazioni più lunghe. MirroS adatta un modello video preaddestrato a condizioni geometriche, poi usa un metodo che chiama Adversarial Forcing per addestrare un renderer che procede blocco per blocco. Lo studio afferma che la riproduzione esatta consente alle perdite delle predizioni successive di influire sul modo in cui il modello codifica la propria storia di generazioni precedenti, mentre l’addestramento avversario su video reali fornisce un ulteriore segnale per la qualità visiva.
Il repository pubblico mette a disposizione procedure di addestramento del renderer e inferenza in streaming, con istruzioni che richiedono Python 3.11 o successivo, PyTorch 2.9 o successivo e un host CUDA. Elenca inoltre i checkpoint del renderer, il motore di rendering in tempo reale, i mondi governati dal codice e il ciclo di esercitazione degli agenti tra gli elementi ancora da pubblicare. Questo limita ciò che i ricercatori esterni possono riprodurre al momento: possono esaminare ed eseguire parti del renderer, ma gli esperimenti completi basati sul gioco, sulla revisione e sulle istruzioni dipendono da componenti che il repository non offre ancora.
MirroS individua i limiti delle osservazioni basate sulla sola geometria
La descrizione del progetto stesso delinea un limite dell’approccio. La profondità e le normali alle superfici non rivelano ogni proprietà rilevante: la sola geometria, per esempio, potrebbe non mostrare la rotazione di un segno dipinto su un oggetto simmetrico, e i dettagli dell’aspetto possono andare perduti dopo lunghe occlusioni. I compiti che dipendono da questi dettagli potrebbero richiedere un modo più ricco di trasmettere lo stato del mondo al renderer.
MirroS afferma di aver costruito i mondi mostrati uno alla volta e vuole che gli agenti di programmazione ne creino e modifichino di nuovi. Il team sostiene inoltre che questi mondi generati debbano essere sottoposti a verifiche per stabilire se un compito sia risolvibile sulla base delle osservazioni disponibili e se premi un apprendimento utile. Per ora, la versione concretamente resa pubblica è più limitata: il codice del renderer è disponibile, mentre i mondi e il ciclo di esercitazione degli agenti che hanno prodotto i risultati principali devono ancora essere pubblicati.