Rilevare lo spin negli studi clinici con i modelli linguistici di grandi dimensioni

Abstract degli autori

Lo spin negli studi clinici comprende pratiche di comunicazione che distorcono la presentazione dei risultati. Il problema è particolarmente critico in medicina, dove lo spin è presente in oltre il 50% degli studi clinici randomizzati controllati che non raggiungono la significatività statistica. Il confronto tra gli esiti primari e quelli riportati è fondamentale per rilevare diversi tipi di spin, tra cui la sostituzione degli esiti. Abbiamo utilizzato 300 coppie di esiti etichettate in base alla similarità semantica per sviluppare un sistema di rilevamento automatico della sostituzione degli esiti. Abbiamo valutato modelli di base per la similarità testuale e LLM open source, utilizzando i punteggi di similarità generati e l’indice di Youden per determinare la soglia di classificazione. L’approccio proposto prevede la progettazione dei prompt, la classificazione basata sulle probabilità dei token e un voto di maggioranza per la decisione finale. Sul set di test di 2.496 esempi, i risultati — un punteggio F1 di 0,78 e un’accuratezza di 0,90 — superano quelli dei modelli di base per la similarità testuale, ma restano inferiori a quelli delle versioni di BERT sottoposte a fine-tuning. Abbiamo utilizzato gli LLM per generare spiegazioni in linguaggio naturale per le istanze classificate e ne abbiamo valutato manualmente la qualità.