PaperDoctor: feedback basato su evidenze e indicazioni operative per articoli scientifici in corso

Abstract degli autori

Gli agenti di autoresearch stanno trasformando l’ecosistema della ricerca, ma possono anche far sì che affermazioni errate entrino nella letteratura su larga scala. I consulenti umani individuano questi problemi nelle bozze grazie a feedback accurati e tracciabili; tuttavia, una valutazione sul modello di quella di un consulente richiede molto lavoro manuale e non è scalabile. Per trasformare la valutazione automatizzata degli articoli da un giudizio a una diagnosi, presentiamo PaperDoctor, un framework basato su agenti per fornire feedback prima della sottomissione, con tre innovazioni chiave. Primo, un framework gerarchico e olistico valuta scrittura, impaginazione, riferimenti, codice, teoria, lavori precedenti ed esperimenti attraverso tre livelli: L1, un esame preliminare degli aspetti superficiali; L2, verificatori tipizzati che indirizzano ogni affermazione alle evidenze appropriate; e L3, moduli che replicano gli esperimenti, ripetendoli secondo le priorità. Secondo, ogni rilievo contiene un’osservazione, un rimando a evidenze specifiche, come una frase, un’equazione o una riga di codice, e un suggerimento di revisione, così da rendere le critiche verificabili e utilizzabili. Terzo, PaperDoctor ricostruisce e ripete selettivamente gli esperimenti in base all’importanza delle affermazioni e al budget di calcolo, facendo emergere lacune di riproducibilità e limiti quantitativi invisibili nel solo manoscritto. Valutiamo PaperDoctor su 30 articoli in corso, ottenendo un accordo del 70,6% e punteggi olistici tutti positivi, e su 40 manoscritti di apprendimento automatico, scienze naturali e scienze sociali, comprendenti articoli con codice scritti da esseri umani e dall’IA. Nel complesso, PaperDoctor produce feedback più verificabili rispetto ai revisori umani e ad altri revisori basati su agenti, abbina per impostazione le critiche a suggerimenti concreti e integra dimensioni spesso trascurate dai revisori umani. Sviluppiamo inoltre un’interfaccia interattiva che consente agli autori di esplorare i rilievi, ciascuno fondato sul loro articolo. PaperDoctor riformula la valutazione automatizzata degli articoli come diagnosi anziché verdetto, compiendo un passo concreto verso consulenti basati sull’IA e una scoperta scientifica assistita dall’IA più rigorosa.