CogArena: un benchmark per agenti multimodali negli esperimenti comportamentali interattivi

Abstract degli autori

Le affermazioni sulle capacità cognitive dei modelli linguistici di grandi dimensioni vengono di solito messe alla prova trasformando i paradigmi comportamentali in prompt testuali, aggirando così le interfacce visive e la pressione del tempo con cui i partecipanti umani affrontano gli esperimenti. Nel frattempo, gli agenti di IA sono ormai in grado di completare compiti comportamentali online e produrre dati simili a quelli umani. Questo solleva il timore che i dataset online delle scienze sociali e comportamentali siano sempre più esposti a contaminazioni. Presentiamo CogArena, un benchmark composto da dieci paradigmi sperimentali delle scienze sociali e comportamentali. Gli agenti svolgono gli esperimenti attraverso un normale browser web, usando gli stessi stimoli visivi e le stesse interfacce di risposta dei partecipanti online. Una procedura di valutazione a tre livelli verifica se l’agente ha completato il compito, con quale accuratezza lo ha svolto e se i suoi dati mostrano i tratti comportamentali che ciascun paradigma produce in modo affidabile nelle persone. Esaminando quattro modelli multimodali, ciascuno eseguito dieci volte per compito, rileviamo che portare a termine un esperimento e riprodurne i tratti comportamentali sono due cose diverse. Molte sessioni non sono giunte a termine; quelle concluse hanno riprodotto in modo affidabile alcuni tratti, ma non ne hanno riprodotti affatto altri. CogArena mette a disposizione i compiti, il codice per la valutazione e una classifica pubblica per i nuovi contributi.