IdeaLens: rilevare le idee dell’IA nei testi lunghi

Abstract degli autori

Mentre i moderni rilevatori di IA cercano di stabilire chi ha scritto le parole, le nuove politiche sull’uso dell’IA si basano sempre più su una domanda diversa: chi ha avuto le idee? Presentiamo IdeaLens, un rilevatore che stabilisce se le idee di un documento provengono da una persona o dall’IA, indipendentemente da chi ne abbia scritto le parole. Per concentrarsi sulle idee anziché sulla prosa, IdeaLens rappresenta i documenti come scalette: elenchi di voci che associano ciascuna una funzione discorsiva a una breve descrizione parafrasata del contenuto, riducendo al minimo la sovrapposizione delle parole con il testo originale. Addestriamo IdeaLens su 1M documenti di FineWeb con etichette silver fornite da Pangram, un rilevatore della provenienza della prosa. Poiché le scalette sono in gran parte prive di informazioni superficiali, l’associazione alle etichette deve basarsi soprattutto sulle idee. In uno studio controllato, la percentuale di testi che IdeaLens segnala come generati dall’IA scende dal 95% al 7% quando i modelli scrivono a partire da piani elaborati da persone sempre più dettagliati, mentre Pangram 4 continua a segnalarne il 92%; con piani derivati dall’IA, la percentuale di IdeaLens resta superiore al 96%. Viceversa, in un nuovo dataset di 50 racconti scritti da autori umani a partire da piani generati dall’IA, IdeaLens ne segnala il 68% come generati dall’IA, contro l’8% di Pangram 4. Su una serie completa di 19 benchmark di rilevamento già esistenti, mostriamo che IdeaLens mantiene elevate percentuali di rilevamento con bassi tassi di falsi positivi. Ciò suggerisce che le idee stesse costituiscano un potente segnale distintivo; le prestazioni di IdeaLens si confermano inoltre in ambiti, formati e lingue diversi. Infine, esaminiamo 90K predizioni di IdeaLens per caratterizzare le differenze sistematiche tra l’ideazione umana e quella dell’IA. Rendiamo disponibili i nostri modelli e dataset etichettati per agevolare la ricerca futura sul rilevamento della provenienza delle idee.