La scalabilità nei videogiochi: prosecuzione del pre-addestramento per agenti incarnati in diversi mondi virtuali

Abstract degli autori

L’aumento della quantità e della diversità dei dati e della capacità dei modelli ha migliorato l’apprendimento degli agenti incarnati negli ambienti fisici, dove esperienze diverse restano ancorate alle stesse leggi della fisica. Non è chiaro se questi progressi si estendano ai mondi virtuali, che differiscono per stile visivo, dinamiche, sistemi di controllo e obiettivi. Esaminiamo la questione con uno studio controllato sulla prosecuzione del pre-addestramento (CPT) lungo tre dimensioni: quantità di dati, diversità e dimensione del modello. Le nostre 120 configurazioni di addestramento comprendono quattro dimensioni dei modelli, da 0,8 a 27 miliardi, sei quantità di dati, da 50 a 1.600 ore, e cinque combinazioni che vanno dai soli dati di Minecraft a corpus diversificati provenienti da più mondi. Valutiamo le prestazioni e la capacità di generalizzazione attraverso le perdite di validazione su tre livelli e benchmark di gioco, dai mondi presenti nel corpus a quelli mai visti. I risultati mostrano che: (1) più dati migliorano le prestazioni nei mondi presenti nel corpus, la diversità migliora il trasferimento ai mondi affini ma produce benefici limitati in quelli distanti, e modelli più grandi usano i dati in modo più efficiente ma generalizzano peggio ai mondi distanti quando vengono addestrati su un solo mondo; (2) osserviamo una prima fase legata all’interfaccia, con benefici estesi a mondi diversi, e una fase successiva legata ai mondi, in cui i benefici si restringono ai mondi presenti nel corpus e a quelli affini; inoltre, adattiamo una legge empirica di scalabilità che mette in relazione la perdita di validazione con la quantità e la diversità dei dati e con la dimensione del modello; (3) i nostri modelli sono competitivi rispetto ai modelli specializzati in Minecraft e ai modelli di frontiera nei mondi 3D, e ottengono i risultati migliori nei contesti in tempo reale. Tuttavia, i limiti dell’imitazione e il persistere di divari nei mondi distanti suggeriscono che, per costruire agenti incarnati generalisti, occorrano fasi di addestramento più ricche, oltre alla prosecuzione del pre-addestramento.