UserArena: un benchmark della simulazione interattiva degli utenti per agenti che gestiscono acquisti su orizzonti lunghi

Abstract degli autori

La raccomandazione basata su agenti persegue gli obiettivi di chi fa acquisti attraverso sequenze di decisioni dipendenti dal contesto. Per sviluppare e valutare queste politiche servono modelli del mondo della raccomandazione fedeli, capaci di rappresentare sia l’ambiente interattivo degli acquisti sia le risposte comportamentali degli utenti nel corso di interazioni prolungate. Le risorse esistenti raramente offrono traiettorie dettagliate e di lungo periodo di utenti reali, né supportano la valutazione a livello di traiettoria e la validazione offline rispetto ai risultati di test A/B in produzione. Presentiamo UserArena, un benchmark interattivo basato su dati reali dell’e-commerce che contiene 64.729 traiettorie di sessione di 11.010 utenti, relative a 566.102 articoli e 13 tipi di azione. UserArena abbina queste traiettorie a un ambiente interattivo e consente la validazione offline rispetto ai risultati di un test A/B controllato in produzione. Permette così una valutazione su cinque livelli: validità dell’output, decisioni locali, comportamento sequenziale, personalizzazione e risultati. Per migliorare la fedeltà del simulatore nel corso di queste interazioni di lungo periodo, proponiamo inoltre On-Policy Trajectory Distillation (OPTD), che usa l’intento a livello di traiettoria per fornire target densi del modello insegnante sui rollout generati dal modello studente. Gli esperimenti mostrano che, secondo il protocollo di valutazione di UserArena, OPTD raggiunge la maggiore fedeltà complessiva tra i simulatori valutati e riproduce con la massima accuratezza l’effetto della politica in produzione nella simulazione offline.