Kierston & KierstonBench: simulazione di Allentown, PA e valutazione dei modelli linguistici nei compiti di indagine criminale e sorveglianza

Abstract degli autori

I modelli linguistici di grandi dimensioni potrebbero essere impiegati per raccogliere e analizzare documenti nelle indagini criminali e nella sorveglianza di massa. Al momento non è possibile misurare le loro capacità e la loro accuratezza in questo ambito. Nelle applicazioni reali mancano i dati di riferimento necessari per valutare le conclusioni di un modello e non esiste alcun benchmark che valuti queste capacità in un ambiente simulato. Presentiamo Kierston, un motore di simulazione su scala cittadina, e KierstonBench, un benchmark che verifica queste capacità rispetto a eventi simulati noti. Kierston modella circa 125.000 residenti di Allentown, in Pennsylvania, generando le loro attività quotidiane e i dati sulle telecomunicazioni, finanziari, amministrativi e relativi alle targhe che i sistemi di sorveglianza e investigativi raccolgono su di loro. Questi dati derivano da una cronologia comportamentale comune e sono distribuiti tra fonti che rappresentano fornitori distinti. I modelli svolgono indagini attraverso un’interfaccia ad accesso limitato ai dati, collegando osservazioni provenienti da fonti diverse senza poter accedere alla simulazione sottostante. Il benchmark comprende 32 famiglie di compiti che coprono il collegamento tra dati, la ricostruzione delle abitudini, l’indagine su incidenti e la valutazione di resoconti ingannevoli. In una valutazione di sedici modelli linguistici, la maggior parte non è riuscita a svolgere indagini sui dati e ha fornito identificazioni non suffragate dai dati. Un piccolo numero di modelli all’avanguardia ha risolto la maggior parte dei compiti e si è astenuto quando le prove erano insufficienti. In alcuni casi, questi modelli sono comunque caduti in inganni e supposizioni ricorrenti, e nessuno ha sostituito un investigatore.