PMID reali, articoli sbagliati: progettazione degli harness per agenti che verificano affermazioni biomediche

Abstract degli autori

Gli agenti linguistici che cercano nella letteratura stanno diventando una componente standard degli assistenti scientifici per le scienze della vita, ma le evidenze ottenute con studi controllati su quali aspetti dei loro harness contino sono ancora scarse. Conduciamo uno studio di ablazione controllato sulla verifica di affermazioni biomediche (SciFact), usando come unico strumento l’API di PubMed in tempo reale. Mantenendo fissi il modello di base e il formato delle risposte, confrontiamo quattro harness: risposte senza consultare fonti, recupero in un solo passaggio che usa l’affermazione come query, un agente in stile ReAct che formula le proprie query per PubMed e una configurazione oracle a cui vengono forniti gli abstract di riferimento. Testiamo ciascun harness con due modelli di base sulla frontiera dell’efficienza. Il recupero in un solo passaggio trova l’articolo di riferimento solo per il 6% delle affermazioni e trasforma errori espressi con eccessiva sicurezza in astensioni, senza migliorare l’accuratezza. Lasciare che sia il modello a formulare le query triplica il recupero degli articoli di riferimento e produce i giudizi più accurati (62% contro il 49-59% degli altri harness realistici), anche se queste differenze non sono significative con la dimensione del nostro campione e gli agenti usano meno della metà del loro budget di ricerca. Con gli abstract di riferimento, gli stessi modelli raggiungono un’accuratezza del 79-86%: un divario significativo di 17-24 punti percentuali che mostra come il principale collo di bottiglia sia il recupero delle fonti, non il ragionamento. Infine, una verifica delle citazioni mostra che i modelli che rispondono senza consultare fonti citano identificativi PubMed che esistono quasi sempre (327/335), ma che non sono quasi mai pertinenti: un LLM giudice di una famiglia diversa valuta pertinenti all’affermazione solo 3 delle 327 citazioni esistenti, contro il 67% delle citazioni prodotte dall’agente che effettua le ricerche. Verificare che le citazioni esistano non è quindi una tutela sufficiente per gli agenti scientifici. Rendiamo disponibili codice, prompt e tutte le chiamate agli strumenti salvate nella cache all’indirizzo https://github.com/saqlain2204/real-pmids-wrong-papers.