STRIDE: valutazione automatizzata dell’allineamento tra testo e traiettorie in contesti diversi

Abstract degli autori

La generazione di traiettorie condizionata dal linguaggio è ormai una realtà, ma i metodi per valutarla non hanno tenuto il passo. Le metriche esistenti per le traiettorie pedonali confrontano le traiettorie con dati reali sul movimento delle persone. Questo approccio non è applicabile su larga scala alla generazione di traiettorie a partire da testi in contesti diversi, perché raccogliere traiettorie umane per ogni scenario è costoso e impraticabile. Inoltre, il comportamento dei pedoni è eterogeneo e dipende dal contesto: non esiste un’unica metrica che dia la risposta corretta e gli attuali sistemi di valutazione non sono trasferibili a questo ambito. Queste difficoltà rendono ardua una valutazione affidabile e applicabile su larga scala. Presentiamo STRIDE, il primo sistema per valutare l’allineamento tra le descrizioni degli scenari e le traiettorie dei pedoni. STRIDE affronta queste difficoltà con tre scelte progettuali. In primo luogo, ricaviamo il nostro protocollo di valutazione VRDST da teorie sociologiche per definire uno spazio di valutazione completo. In secondo luogo, il sistema scompone il contesto generale in domande sul comportamento adattate allo scenario. In terzo luogo, a ogni domanda viene data risposta mediante una libreria di strumenti di misurazione deterministici, che produce risposte riproducibili. Nel complesso, STRIDE consente una valutazione completa, verificabile, automatizzata e applicabile su larga scala in contesti diversi, senza richiedere dati sulle traiettorie umane. Applichiamo STRIDE all’ambito delle folle con STRIDE-Bench, che comprende 1K scenari, 6K domande sul comportamento e 11K misurazioni con risposte attese calibrate su 30 mappe del mondo reale. Ampie verifiche condotte da persone mostrano che STRIDE-Bench è coerente con il comportamento e il giudizio umani, raggiungendo un accordo dell’80% con le valutazioni umane. Valutiamo inoltre diversi modelli di generazione di traiettorie a partire da testi, riscontrando una capacità limitata di allineamento al contesto e difficoltà persistenti nel condizionamento sul contesto a grana fine. Riteniamo che STRIDE costituisca un primo passo verso una valutazione fondata su principi della generazione di traiettorie pedonali allineate al contesto.