Verso il rilevamento delle risposte ai sondaggi online assistite dall’IA

Abstract degli autori

L’uso di modelli linguistici di grandi dimensioni (LLM) per compilare sondaggi online incide sulla validità della ricerca basata sui sondaggi, ma il rilevamento di tale uso è ancora poco esplorato. Presentiamo ASURRE, un primo dataset benchmark per la partecipazione ai sondaggi assistita dall’IA, che include strategie d’uso che vanno dalla generazione e revisione complete fino alla compilazione agentica basata su una persona. Seguendo queste strategie, generiamo risposte ai sondaggi assistite da LLM usando diversi LLM su tre sondaggi del mondo reale appartenenti a discipline diverse, abbinate a risposte autentiche di esseri umani. La nostra valutazione degli attuali rilevatori di testi generati da macchine (MGT) mostra che l’uso ingenuo dell’IA è facilmente rilevabile, mentre gli agenti basati su una persona che imitano interi rispondenti portano le prestazioni dei rilevatori verso il livello del caso. Mostriamo inoltre che la compilazione agentica non riesce a replicare pienamente il comportamento dei singoli rispondenti e lascia tracce comportamentali distintive. Sebbene i singoli indizi possano essere aggirati con prompt mirati, un semplice aggregatore few-shot e senza addestramento basato su questi indizi migliora l’AUROC medio di +0,14 rispetto al miglior rilevatore esistente nei vari scenari agentici. Il nostro progetto è disponibile all’indirizzo https://github.com/mike-qz-wang/ASURRE.