I revisori IA riescono a vedere gli sforzi per migliorare il proprio articolo? Uno studio su larga scala sulle traiettorie di revisione degli articoli

Abstract degli autori

I revisori IA sono sempre più spesso impiegati per valutare i manoscritti scientifici, ma non è ancora chiaro se i loro giudizi riflettano i miglioramenti apportati dagli autori durante la revisione. Indaghiamo questa questione usando PaperTrajectory-2026, l’edizione 2026 di PaperTrajectory, un dataset composto da 6.959 traiettorie di articoli presentati a cinque conferenze sull’IA, con annotazioni automatiche dei cambiamenti su 14 dimensioni e valutazioni separate della qualità complessiva. Le annotazioni mostrano che i miglioramenti sostanziali riguardano soprattutto le evidenze empiriche e l’inquadramento, mentre le revisioni successive tendono a produrre miglioramenti incrementali. Esaminando le valutazioni indipendenti delle versioni dei manoscritti da parte di otto revisori IA, analizziamo se i miglioramenti sostanziali annotati ottengano punteggi più alti, quali dimensioni delle revisioni siano associate alle variazioni dei punteggi e se le opinioni degli utenti possano prevalere sui miglioramenti osservati nelle revisioni. Tutti i revisori lasciano invariati i punteggi per la maggior parte dei miglioramenti sostanziali, e la concordanza sulla direzione delle variazioni dei punteggi è debole. Alcune dimensioni delle revisioni presentano associazioni con aumenti dei punteggi specifiche per ciascun revisore, ma hanno una capacità discriminante predittiva limitata e non offrono indicazioni coerenti tra i revisori. Anche quando una revisione ottiene un punteggio neutrale più alto, una breve opinione negativa dell’utente può annullare o ribaltare questo vantaggio, con notevoli variazioni tra i revisori. Questi risultati mostrano che le revisioni sostanziali non si riflettono in modo coerente nei punteggi delle valutazioni e che gli aumenti osservati nei punteggi possono essere vulnerabili all’inquadramento da parte degli utenti; ciò motiva valutazioni che colleghino le evidenze del manoscritto ai giudizi complessivi e rimangano stabili quando le evidenze scientifiche non cambiano.