PaperScorer: quanto è prevedibile l’accettazione di un paper?

Abstract degli autori

La ricerca automatizzata viene valutata soprattutto in base ai risultati ottenuti nei benchmark, ma il valore della ricerca raramente si riduce a un singolo punteggio. Le persone valutano il contributo complessivo di un lavoro attraverso la revisione paritaria, un processo difficile da modellare perché è rumoroso e dipende da molti fattori. Ma se avessimo a disposizione solo il paper, potremmo prevedere direttamente l’esito della sua revisione paritaria? Presentiamo PaperScorer, una famiglia di modelli che prevede se un paper verrà accettato o respinto a partire dal testo estratto o da screenshot delle pagine, addestrati esclusivamente sull’esito e dopo aver rimosso l’identità degli autori e le scorciatoie legate alla formattazione. I modelli visivi sono quelli più predittivi (68% di accuratezza sui paper di ICLR e 77% su quelli di machine learning provenienti da arXiv), superando i modelli basati solo sul testo e i modelli di ragionamento all’avanguardia. A differenza del semplice testo, le immagini delle pagine conservano figure, impaginazione e presentazione. Questo segnale è robusto: resiste anche con modelli più piccoli e persino quando l’intero paper viene compresso in una sola immagine. Ma l’accuratezza delle previsioni non è uniforme: PaperScorer dà i risultati migliori sui paper con le valutazioni più basse e più alte, mentre quelli con valutazioni intermedie restano imprevedibili sia per i nostri modelli sia per i sistemi all’avanguardia. Inoltre, la sua confidenza è calibrata: le previsioni a cui il modello assegna maggiore confidenza sono anche le più accurate. Nel complesso, PaperScorer mostra quanto del verdetto sia già contenuto nel paper stesso e segna un primo passo verso la valutazione della ricerca basata sull’IA.