Lo stile conta più della sostanza? Pregiudizi linguistici nella revisione tra pari basata sugli LLM Copia titolo

Abstract degli autori

Negli ultimi anni, il numero di articoli presentati alle principali conferenze sull’IA è aumentato drasticamente, facendo crescere in misura considerevole il carico di lavoro dei ricercatori impegnati nella revisione tra pari. Allo stesso tempo, i modelli linguistici di grandi dimensioni (LLM) sono sempre più utilizzati a supporto della revisione, sia dai singoli revisori sia dagli organizzatori delle conferenze. Sebbene le capacità degli LLM siano migliorate notevolmente, le loro valutazioni possono essere influenzate da caratteristiche linguistiche estranee al contenuto scientifico. In questo lavoro presentiamo un quadro sperimentale controllato per studiare tali effetti, modificando sistematicamente lo stile linguistico degli articoli di ricerca. In particolare, riscriviamo gli articoli in modo che presentino (i) caratteristiche linguistiche associate alla scrittura in inglese di madrelingua o di non madrelingua e (ii) caratteristiche linguistiche che esprimono un grado di sicurezza elevato o basso. Per realizzare questi interventi, ricaviamo dalla letteratura linguistica istruzioni dettagliate per la riscrittura e le applichiamo mediante LLM. È fondamentale che gli interventi siano concepiti per preservare il contenuto scientifico degli articoli. Valutiamo poi gli articoli così ottenuti con diversi LLM impiegati come revisori. I nostri esperimenti mettono in luce una vulnerabilità critica della revisione tra pari basata sugli LLM: i revisori premiano sistematicamente una retorica assertiva indipendentemente dal contenuto scientifico, sollevando serie preoccupazioni sulla solidità delle loro valutazioni.