Scienza o fuffa? Un benchmark per individuare e mitigare la fuffa scientifica negli articoli generati dall’IA

Abstract degli autori

I contenuti generati dall’IA, spesso chiamati «fuffa dell’IA», sono sempre più diffusi ovunque, in particolare nel mondo accademico. Negli articoli scientifici generati dall’IA, però, questa fuffa assume forme più complesse, che i rilevatori di testi generati dall’IA basati sui token non riescono a individuare facilmente. Ogni parte dell’articolo appare plausibile, ma il ragionamento scientifico che collega le parti non regge, e questo può trarre in inganno i lettori nel valutare il lavoro. Misuriamo questi problemi come fuffa scientifica attraverso sei indicatori relativi a struttura, argomentazione e artefatti. Abbiamo costruito SciSlopBench con 390 articoli generati dall’IA, perlopiù di informatica ma anche di scienze della vita, scienze sociali e scienze naturali. A ciascuno è abbinato un articolo scritto da esseri umani, selezionato in base al problema di ricerca e al tipo di contributo. I nostri indicatori individuano l’articolo generato dall’IA in ciascuna coppia con un’accuratezza dell’85,9%, contro il 68,7% di Binoculars. A una maggiore presenza di fuffa scientifica corrispondono valutazioni ICLR più basse; inoltre, questo indicatore distingue gli articoli respinti da quelli accettati con risultati superiori al caso in ogni anno dal 2017 al 2025. Ridurre questi problemi, però, non è semplice come ottimizzare direttamente gli indicatori. Proponiamo quindi SciSlopHarness, un framework a livello di infrastruttura di esecuzione che guida un LLM invariato a correggere la fuffa solo dove la documentazione degli esperimenti giustifica la modifica. Mentre le revisioni standard lasciano fuffa residua e i prompt che puntano direttamente a ridurla innescano il reward hacking, SciSlopHarness riduce del 63% il divario ancora esistente tra articoli generati dall’IA e articoli scritti da esseri umani rispetto alla baseline di revisione più efficace, senza richiedere testi umani come riferimento. Nel complesso, dimostriamo che gli articoli scientifici generati dall’IA lasciano tracce fondamentali nel loro ragionamento complessivo e che, per mitigare responsabilmente il problema, serve un rigoroso fondamento nelle evidenze, non un semplice affinamento della prosa.