RECITE: revisione dei criteri di eleggibilità con integrazione di evidenze testuali

Abstract degli autori

Criteri di eleggibilità eccessivamente restrittivi contribuiscono alla diffusa mancata iscrizione dei partecipanti agli studi clinici; tuttavia, le raccomandazioni pubblicate su come ampliare criteri specifici restano scollegate dalla progettazione degli studi su larga scala. Presentiamo RECITE (Revising Eligibility Criteria Incorporating Textual Evidence), un framework per individuare, estrarre e applicare automaticamente revisioni dei criteri di eleggibilità basate sulle evidenze. RECITE utilizza i documenti relativi agli emendamenti dei protocolli di ClinicalTrials.gov per creare un dataset di 11.913 istanze curate, provenienti da 5.735 studi, ciascuna delle quali abbina i criteri originali alle evidenze documentali e alle revisioni proposte. Valutiamo quindici configurazioni di LLM in condizioni di troncamento alla finestra di contesto e di generazione aumentata dal recupero, su un campione di 3.116 istanze e secondo un protocollo LLM-as-judge convalidato rispetto alle valutazioni di dieci esperti del settore (accordo quadratico pesato di Cohen tra valutatore e giudizio umano: $κ_{qw} = 0.694 \pm 0.096$). Il miglior modello a pesi aperti, Gemma 2 9B, ottiene un punteggio ordinale allineato a $κ_{qw}$ pari a $3.0 \pm 0.9$ su una scala da 0 a 4 (normalizzato: 0,742), mentre il miglior modello a pesi chiusi, GPT-4o, raggiunge $3.0 \pm 0.8$ (normalizzato: 0,745). Utilizzando un sistema agentico di ricerca bibliografica, abbiamo poi individuato 44 corrispondenze tra articoli e studi clinici in cinque pubblicazioni che forniscono evidenze sulla progettazione degli studi e sulla modifica dei criteri di eleggibilità. I nostri risultati suggeriscono che le conoscenze cliniche esistenti possono essere tradotte in raccomandazioni attuabili per la progettazione degli studi clinici.