LOLPlay: valutazione comparativa degli agenti visivi in tempo reale in League of Legends

Abstract degli autori

Gli agenti visivi devono coordinare ragionamento e azione mentre l’ambiente evolve durante l’inferenza. Presentiamo LOLPlay, un benchmark nell’ambiente nativo di \emph{League of Legends} con 36 attività specifiche per campione che spaziano dalla gestione delle risorse al combattimento, dalla cooperazione agli obiettivi. Gli agenti interagiscono tramite screenshot e comandi di mouse e tastiera; l’inizializzazione automatizzata e 82 verifiche eseguibili dei sotto-obiettivi distinguono i progressi parziali dal completamento. Nelle 324 valutazioni di attività condotte su tre modelli e tre livelli di intensità del ragionamento, GPT-6 Astra ottiene il più alto tasso di successo nelle attività, pari al 25,0\%, con livelli di intensità basso e medio, e il più alto tasso di successo nei sotto-obiettivi, pari al 40,3\%, con intensità media. Tuttavia, per nessun modello l’intensità alta migliora una delle due metriche rispetto a quella bassa. Nel caso di Astra, richieste più lunghe lasciano meno turni di interazione, suggerendo che un ragionamento aggiuntivo abbia un costo nel controllo in tempo reale. Le traiettorie rivelano una composizione incompleta dei sotto-obiettivi e azioni che vengono eseguite dopo che la scena osservata è cambiata, indicando la necessità di agenti che combinino ragionamento visivo e azione tempestiva.