GenXR-Bench: un benchmark per gli agenti di programmazione nello sviluppo di applicazioni XR interattive

Abstract degli autori

Gli agenti di programmazione stanno passando rapidamente dalla generazione di singoli file ad attività di ingegneria di lunga durata su interi repository, ma valutarne la capacità di sviluppare applicazioni interattive di realtà estesa (XR) resta una sfida aperta. A differenza del software tradizionale, le applicazioni XR operano in ambienti fisici tridimensionali dinamici, dove la robustezza in fase di esecuzione dipende congiuntamente dal movimento continuo dell’utente, dagli input spaziali e dal rilevamento dell’ambiente. Presentiamo GenXR-Bench, il primo benchmark per la valutazione end-to-end degli agenti di programmazione nello sviluppo di software XR. GenXR-Bench comprende 112 attività ideate da esperti: 24 implementazioni di funzionalità, 21 correzioni di bug e 67 attività di generazione di applicazioni. I test tenuti da parte combinano interazioni predefinite e adattive con verifiche programmatiche e visive per valutare le funzionalità fondamentali e il comportamento in fase di esecuzione. La suite di test di GenXR-Bench raggiunge un’accuratezza del 96,5% rispetto ai giudizi formulati in cieco da esperti su 124 applicazioni candidate eseguite su dispositivi XR destinati ai consumatori. Valutando 10 modelli con GenXR-Bench, rileviamo che la configurazione più efficace raggiunge appena il 50,9% complessivo in Pass@1. L’analisi degli errori individua fraintendimenti ricorrenti del ciclo di vita asincrono dei sensori, dell’ancoraggio al mondo fisico e della semantica delle interazioni corporee. GenXR-Bench offre un ambiente di test riproducibile per valutare gli agenti di programmazione nelle condizioni interattive e fisicamente situate del calcolo spaziale.