PremiseCheck: verifica efficiente dei fatti nelle revisioni tra pari redatte da esseri umani e dall’IA

Abstract degli autori

La revisione tra pari è messa sotto pressione dall’aumento degli articoli presentati, e i commenti scritti da esseri umani o dall’IA possono riportare in modo errato ciò che dice un articolo. Presentiamo ReviewFact, un benchmark che, sulla base di un’unica definizione valida per l’NLP, il machine learning e le scienze naturali, classifica questi errori fattuali nei commenti di revisione e misura costi e latenza oltre all’accuratezza. Un LLM di frontiera verifica bene i commenti, ma deve leggere l’intero articolo per ogni verifica; i modelli decisionali economici, che valutano se un’affermazione trova riscontro in un testo, ottengono invece risultati molto inferiori sui commenti considerati nella loro interezza, che mescolano diverse affermazioni implicite. PremiseCheck è un framework che combina i due approcci. Un LLM riscrive ogni commento sotto forma di premesse esplicite senza leggere l’articolo, poi un modello decisionale verifica ciascuna premessa confrontandola con l’articolo. Quando ogni commento viene verificato singolarmente, PremiseCheck raggiunge un’accuratezza paragonabile a quella di GPT-5.5 in tutti e tre i campi, a circa metà del costo; nelle revisioni di articoli di NLP, raggiunge tale accuratezza a un quarto del costo e con una latenza inferiore alla metà.